←搜索结果

按匹配度 · 共 7 条结果 清除搜索

星期四

  1. Sierra:Blog

    Sierra 推出 𝜏-i18n 多语言语音智能体评测基准

    Sierra 发布 𝜏-i18n,将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,沿用相同的航空、零售和电信任务、策略、工具与成功标准,以便跨语言比较。在 2,700 通主通话中,西班牙语、印地语、葡萄牙语的任务完成率平均落后英语 2.4、3.8、6.4 个百分点,韩语和普通话分别落后 22.6 和 9.1 个百分点,韩语是三个智能体中表现最弱的语言。除任务完成外,𝜏-i18n 还单独报告交互指标(响应时机、选择性、工具调用效率)和生成质量(自然度、语音保真度),并已开源代码库和语言包框架 LanguageFactory。

    Task completion, interaction, and generation

    匹配字段标题

  2. 事件1 条新闻 · 1 个事实

    Sierra推出τ-i18n多语言语音评测基准

    2026年10月22日,Sierra发布τ-i18n,将τ-Voice评测扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五种语言,并沿用相同的航空、零售和电信任务、策略、工具与成功标准,以便跨语言比较。在2,700通主通话中,西班牙语、印地语、葡萄牙语的任务完成率平均分别落后英语2.4、3.8、6.4个百分点,韩语和普通话分别落后22.6和9.1个百分点,韩语是三个智能体中表现最弱的语言。除任务完成外,τ-i18n还单独报告响应时机、选择性、工具调用效率等交互指标,以及自然度、语音保真度等生成质量指标,并已开源代码库和语言包框架LanguageFactory。

    匹配字段标题

星期五

  1. Hugging Face

    Hugging Face 研究:语音识别模型存在基准优化行为

    Hugging Face 发布研究,用共识分歧、掩码实体检索和拼写切换三类探针测试语音识别模型,发现部分模型会依据声学线索识别基准来源并复现参考文本中的错误。在 VoxPopuli 上,方法标记出约 40% 测试片段可能存在参考错误,涉及约 3% 的参考词;表现基准优化的模型有 18–30% 的概率复现错误参考文本,且 WER 最低的模型反而最容易复现这些错误。在 LibriSpeech 上,部分强模型在数字被静音后仍有约 30–40% 的样本还原出被掩码的数字,拼写切换探针中多个模型超过 50% 随机基线,部分达到约 90% 切换准确率。研究建议使用完全留出的评测集,Open ASR Leaderboard 已新增 Benchmark fitting 标签页,相关脚本与未归一化模型输出已在 GitHub 开源。

    匹配字段标题

星期三

  1. Hugging Face精选

    推出 Real World VoiceEQ:衡量语音 AI 的人类交互质量

    Real World VoiceEQ 以超过 100 万次人工评分评估 40 多个专有及开源语音模型,覆盖 ASR、TTS、S2S 和语音理解的 15 多个维度、60 多项指标。评测显示,没有单一模型在所有能力上领先,许多系统更擅长说而非听,且在口音、噪声、情绪和长对话等真实场景中的表现低于传统基准所呈现的水平。自动评估器适合答案明确的任务,但涉及声学语境、感知和社会解释时仍无法取代人类听众。

    匹配字段标题

星期日