最新提交
历史
4 次提交4 次提交文件夹和文件
仓库文件导航
README简介
本仓库托管 Ming-Freeform-Audio-Edit,这是用于评测 Ming-UniAudio 模型下游编辑任务的基准测试集。
该测试集涵盖 7 项不同的编辑任务,分类如下:
-
语义编辑(3 项任务):
- 自由形式删除
- 自由形式插入
- 声学编辑(5 项任务):时间拉伸音高变换方言转换情感转换音量转换音频样本来自知名开源数据集,包括 seed-tts eval、LibriTTS 和 Gigaspeech。数据集统计语义编辑完整版任务类型\ 样本数 \ 语言中文删除中文插入中文替换英文删除英文插入英文替换基于索引1861803613810067基于内容951102896299189总计281290325200199256基础版任务类型\ 样本数 \ 语言
-
声学编辑(5 项任务):
- 时间拉伸
- 音高变换
- 方言转换
- 情感转换
- 音量转换
音频样本来自知名开源数据集,包括 seed-tts eval、LibriTTS 和 Gigaspeech。
数据集统计
语义编辑
完整版
| 任务类型\ 样本数 \ 语言 | 中文删除 | 中文插入 | 中文替换 | 英文删除 | 插入 | 英文替换 |
|---|---|---|---|---|---|---|
| 基于索引 | 186 | 180 | 36 | 138 | 100 | 67 |
| 基于内容 | 95 | 110 | 289 | 62 | 99 | 189 |
| 总计 | 281 | 290 | 325 | 200 | 199 | 256 |
基础版
| 任务类型\ 样本数 \ 语言 | 中文删除 | 中文插入 | 中文替换 | 英文删除 | 英文插入 | 英文替换 |
|---|---|---|---|---|---|---|
| 基于索引 | 92 | 65 | 29 | 47 | 79 | 29 |
| 基于内容 | 78 | 105 | 130 | 133 | 81 | 150 |
| 总计 | 170 | 170 | 159 | 180 | 160 | 179 |
基于索引 指令:指定对位置上的内容执行操作 到 j。(例如删除索引 3 到 12 的字符或单词)基于内容:针对特定字符或单词进行编辑。(例如在“world”前插入“hello”)声学编辑任务类型\ 样本数 \ 语言中文英文时间拉伸5050音高变换5050方言转换250---情感转换8472音量转换5050评测指标环境准备注意:请从 HuggingFace 或 ModelScope 下载音频和 meta 文件,并将 和 目录放在语义编辑下,对于 d 到 j(例如删除索引 3 到 12 的字符或单词)
基于内容:针对特定字符或单词进行编辑。(例如在“world”前插入“hello”)
声学编辑
| 任务类型\ 样本数 \ 语言 | 中文 | 英文 |
|---|---|---|
| 时间拉伸 | 50 | 50 |
| 音高变换 | 50 | 50 |
| 方言转换 | 250 | --- |
| 情感转换 | 84 | 72 |
| 音量转换 | 50 | 50 |
评测指标
环境准备
git clone https://github.com/inclusionAI/Ming-Freeform-Audio-Edit.git cd Ming-Freeform-Audio-Edit pip install -r requirements.txt
注意:请从 HuggingFace 或 ModelScope 下载音频和 meta 文件,并将相应目录放在 HuggingFace 或 ModelScope 并将 wavs 和 meta 目录放在 Ming-Freeform-Audio-Edit
语义编辑
对于删除、插入和替换任务,我们使用四个关键指标来评估性能:
- 编辑区域的词错误率(WER)(wer)
- 未编辑区域的词错误率(WER)(wer.noedit)
- 编辑操作准确率(acc)
- 说话人相似度(sim)
-
如果你已按如下方式整理好包含编辑后波形的目录:
eval_path | ├── del │ └── edit_del_basic │ └── tts/ # This is the actual directory contains the edited wavs ├── ins │ └── edit_ins_basic │ └── tts/ # This is the actual directory contains the edited wavs ├── sub └── edit_sub_basic └── tts/ # This is the actual directory contains the edited wavs然后,你可以运行以下命令来获取这些指标:
cd Ming-Freeform-Audio-Edit/eval_scripts bash run_eval_semantic.sh eval_path \ whisper_path \ paraformer_path \ wavlm_path \ eval_mode \ lang以下是上述脚本参数的简要说明:
eval_path:包含每个编辑任务子目录的顶层目录whisper_pathWhisper 模型的路径,用于计算英文音频的 WER。你可以从这里下载: :用于计算中文音频 WER 的 Paraformer 模型路径。你可以从这里下载。:用于计算说话人相似度的 WavLM 模型路径。你可以从这里下载。:用于指定使用哪个版本的评测集。在 和 之间选择:支持的语言,在 和 之间选择。如果你编辑后音频的目录未按上述格式整理,可以运行以下命令。以下是 par 的简要说明.paraformer_path用于计算中文音频 WER 的 Paraformer 模型路径。你可以从这里下载: 。:用于计算说话人相似度的 WavLM 模型路径。你可以从这里下载。:用于指定使用哪个版本的评测集。在 和 之间选择:支持的语言,在 和 之间选择。如果你编辑后音频的目录未按上述格式整理,可以运行以下命令。以下是上述脚本参数的简要说明::对应任务 meta 文件的绝对路径(例如 或 )。:.wavlm_pathWavLM 模型的路径,用于计算说话人相似度。你可以从这里下载: 。.eval_mode:用于指定使用哪个版本的评测集。在 和 之间选择basic和openlang:支持的语言,在 和 之间选择zh和en
-
如果你编辑后音频的目录未按上述格式整理,可以运行以下命令。
cd eval_scripts # get wer, wer.noedit bash cal_wer_edit.sh meta_file \ wav_dir \ lang \ num_jobs \ res_dir \ task_type \ eval_mode \ whisper_path \ paraformer_path \ edit_cat # use `semantic` here # get sim bash cal_sim_edit.sh meta_file \ wav_dir \ wavlm_path \ num_jobs \ res_dir \ lang以下是上述脚本参数的简要说明:
meta_file:对应任务 meta 文件的绝对路径(例如meta_en_deletion_basic.csv或meta_en_deletion.csv).wav_dir:包含编辑后音频文件的目录(WAV 文件应直接位于该目录中)。lang:zh:进程数。:保存指标结果的目录。:、 或 :与上述相同。:与上述相同:与上述相同: 或 声学编辑对于声学编辑任务,我们使用 WER 和 SPK-SIM 作为主要评估指标。如果编辑后音频的目录结构已整理好,可以运行以下命令。 否则,你可以运行与语义任务类似的命令,并将 参数设置为 。此外,对于方言和情感转换任务ennum_jobs:进程数。res_dir:保存指标结果的目录。task_type:del,ins或subeval_mode:与上述相同。whisper_path:与上述相同paraformer_path:与上述相同edit_cat:semantic或acoustic
声学编辑
对于声学编辑任务,我们使用 WER 和 SPK-SIM 作为主要评估指标。
- 如果编辑后音频的目录结构已整理好,可以运行以下命令。
cd Ming-Freeform-Audio-Edit/eval_scripts bash run_eval_acoustic.sh eval_path \ whisper_path \ paraformer_path \ wavlm_path \ eval_mode \ lang - 否则,你可以运行与语义任务类似的命令,并将参数设置为 。
edit_cat参数设置为acoustic.
此外,对于方言和情感转换任务,我们通过 API 调用利用大型语言模型(LLM)来评估转换准确率,详见 eval_scripts/run_eval_acoustic.sh 详见。
AI 热点