分支标签打开更多操作菜单

最新提交

 

历史

4 次提交4 次提交

文件夹和文件

名称名称最后提交信息最后提交日期
.github/workflows.github/workflows  
eval_scriptseval_scripts  
thirdparty/UniSpeechthirdparty/UniSpeech  
.gitignore.gitignore  
LEGAL.mdLEGAL.md  
README.mdREADME.md  
requirements.txtrequirements.txt  
speech_edit_dataset.pyspeech_edit_dataset.py  

仓库文件导航

README

简介

本仓库托管 Ming-Freeform-Audio-Edit,这是用于评测 Ming-UniAudio 模型下游编辑任务的基准测试集。

该测试集涵盖 7 项不同的编辑任务,分类如下:

  • 语义编辑(3 项任务):

    • 自由形式删除
    • 自由形式插入
    • 声学编辑(5 项任务):时间拉伸音高变换方言转换情感转换音量转换音频样本来自知名开源数据集,包括 seed-tts eval、LibriTTS 和 Gigaspeech。数据集统计语义编辑完整版任务类型\ 样本数 \ 语言中文删除中文插入中文替换英文删除英文插入英文替换基于索引1861803613810067基于内容951102896299189总计281290325200199256基础版任务类型\ 样本数 \ 语言
  • 声学编辑(5 项任务):

    • 时间拉伸
    • 音高变换
    • 方言转换
    • 情感转换
    • 音量转换

音频样本来自知名开源数据集,包括 seed-tts eval、LibriTTS 和 Gigaspeech。

数据集统计

语义编辑

完整版

任务类型\ 样本数 \ 语言 中文删除 中文插入 中文替换 英文删除 插入 英文替换
基于索引 186 180 36 138 100 67
基于内容 95 110 289 62 99 189
总计 281 290 325 200 199 256

基础版

任务类型\ 样本数 \ 语言 中文删除 中文插入 中文替换 英文删除 英文插入 英文替换
基于索引 92 65 29 47 79 29
基于内容 78 105 130 133 81 150
总计 170 170 159 180 160 179

基于索引 指令:指定对位置上的内容执行操作 到 j。(例如删除索引 3 到 12 的字符或单词)基于内容:针对特定字符或单词进行编辑。(例如在“world”前插入“hello”)声学编辑任务类型\ 样本数 \ 语言中文英文时间拉伸5050音高变换5050方言转换250---情感转换8472音量转换5050评测指标环境准备注意:请从 HuggingFace 或 ModelScope 下载音频和 meta 文件,并将 和 目录放在语义编辑下,对于 d 到 j(例如删除索引 3 到 12 的字符或单词)

基于内容:针对特定字符或单词进行编辑。(例如在“world”前插入“hello”)

声学编辑

任务类型\ 样本数 \ 语言 中文 英文
时间拉伸 50 50
音高变换 50 50
方言转换 250 ---
情感转换 84 72
音量转换 50 50

评测指标

环境准备

git clone https://github.com/inclusionAI/Ming-Freeform-Audio-Edit.git
cd Ming-Freeform-Audio-Edit
pip install -r requirements.txt

注意:请从 HuggingFace 或 ModelScope 下载音频和 meta 文件,并将相应目录放在 HuggingFace 或 ModelScope 并将 wavs 和 meta 目录放在 Ming-Freeform-Audio-Edit

语义编辑

对于删除、插入和替换任务,我们使用四个关键指标来评估性能:

  • 编辑区域的词错误率(WER)(wer)
  • 未编辑区域的词错误率(WER)(wer.noedit)
  • 编辑操作准确率(acc)
  • 说话人相似度(sim)
  1. 如果你已按如下方式整理好包含编辑后波形的目录:

    eval_path
     |
     ├── del
     │   └── edit_del_basic
     │       └── tts/ # This is the actual directory contains the edited wavs
     ├── ins
     │   └── edit_ins_basic
     │       └── tts/ # This is the actual directory contains the edited wavs
     ├── sub
       └── edit_sub_basic
           └── tts/ # This is the actual directory contains the edited wavs
    

    然后,你可以运行以下命令来获取这些指标:

    cd Ming-Freeform-Audio-Edit/eval_scripts
    bash run_eval_semantic.sh eval_path \
                              whisper_path \
                              paraformer_path \
                              wavlm_path \
                              eval_mode \
                              lang

    以下是上述脚本参数的简要说明:

  2. 如果你编辑后音频的目录未按上述格式整理,可以运行以下命令。

    cd eval_scripts
    # get wer, wer.noedit
    bash cal_wer_edit.sh meta_file \
         wav_dir \
         lang \
         num_jobs \
         res_dir \
         task_type \
         eval_mode \
         whisper_path \
         paraformer_path \
         edit_cat # use `semantic` here
     # get sim
     bash cal_sim_edit.sh meta_file \
          wav_dir \
          wavlm_path \
          num_jobs \
          res_dir \
          lang

    以下是上述脚本参数的简要说明:

    • meta_file:对应任务 meta 文件的绝对路径(例如 meta_en_deletion_basic.csv 或 meta_en_deletion.csv).
    • wav_dir:包含编辑后音频文件的目录(WAV 文件应直接位于该目录中)。
    • lang: zh :进程数。:保存指标结果的目录。:、 或 :与上述相同。:与上述相同:与上述相同: 或 声学编辑对于声学编辑任务,我们使用 WER 和 SPK-SIM 作为主要评估指标。如果编辑后音频的目录结构已整理好,可以运行以下命令。 否则,你可以运行与语义任务类似的命令,并将 参数设置为 。此外,对于方言和情感转换任务 en
    • num_jobs:进程数。
    • res_dir:保存指标结果的目录。
    • task_type: del, ins 或 sub
    • eval_mode:与上述相同。
    • whisper_path:与上述相同
    • paraformer_path:与上述相同
    • edit_cat: semantic 或 acoustic

声学编辑

对于声学编辑任务,我们使用 WER 和 SPK-SIM 作为主要评估指标。

  1. 如果编辑后音频的目录结构已整理好,可以运行以下命令。
    cd Ming-Freeform-Audio-Edit/eval_scripts
    bash run_eval_acoustic.sh eval_path \
                             whisper_path \
                             paraformer_path \
                             wavlm_path \
                             eval_mode \
                             lang
  2. 否则,你可以运行与语义任务类似的命令,并将参数设置为 。 edit_cat 参数设置为 acoustic.

此外,对于方言和情感转换任务,我们通过 API 调用利用大型语言模型(LLM)来评估转换准确率,详见 eval_scripts/run_eval_acoustic.sh 详见。

关于

未提供描述、网站或主题。

资源

Readme活动自定义属性

星标

18 星标

关注者

1 关注

分支

2 分支报告仓库

发布

包

使用方

贡献者

语言