搜索“语音”

NVIDIA发布开放权重语音转写模型Nemotron 3.5 Transcribe

查看事件：NVIDIA发布开放权重语音转写模型Nemotron 3.5 Transcribe

Block发布全双工语音模型Dessa

Block的AI研究实验室发布全双工语音模型Dessa,以研究预览形式开放候补名单。据MarkTechPost报道,该模型只用人声对话音频训练,未使用文本和预训练模型,可在MacBook Pro M4 Max或更高配置上本地运行,速度快于实时;训练使用1台NVIDIA GB200 NVL72(72块GPU)。目前未公布基准分数、参数量、权重、论文或API。

Block发布全双工语音模型Dessa

Block的AI研究实验室发布全双工语音模型Dessa,以研究预览形式开放候补名单。据MarkTechPost报道,该模型只用人声对话音频训练,未使用文本和预训练模型,可在MacBook Pro M4 Max或更高配置上本地运行,速度快于实时;训练使用1台NVIDIA GB200 NVL72(72块GPU)。目前未公布基准分数、参数量、权重、论文或API。

查看事件：Block发布全双工语音模型Dessa

Block发布全双工语音模型Dessa

Block内部AI研究实验室于10月23日发布全双工语音到语音模型Dessa。据Unite.AI报道,该模型完全基于人类对话语音从零训练,可同时听和说,并能原生感知情绪、讽刺和笑声;推理速度快于实时,可在MacBook Pro M4 Max或更高配置上本地运行,团队用单台NVIDIA GB200 NVL72完成训练。Block已公开演示录音和公开等待名单,并向少量AI安全研究者开放早期访问。另有报道称,该模型不依赖文本中介,支持随时插话打断的全双工对话,训练消耗的token量比大语言模型少数百倍,但作者指出这目前只是Block内部实验室的小规模研究预览,demo由官方挑选,纯音频模型在复杂多步逻辑推理上的表现仍存疑问。

Block发布语音模型Dessa

Block内部AI研究实验室于10月23日发布全双工语音到语音模型Dessa。据Unite.AI报道,该模型完全基于人类对话语音从零训练,可同时听和说,并能原生感知情绪、讽刺和笑声;推理速度快于实时,可在MacBook Pro M4 Max或更高配置上本地运行,团队用单台NVIDIA GB200 NVL72完成训练。Block已公开演示录音和公开等待名单,并向少量AI安全研究者开放早期访问。另有报道称,该模型不依赖文本中介,支持随时插话打断的全双工对话,训练消耗的token量比大语言模型少数百倍,但作者指出这目前只是Block内部实验室的小规模研究预览,demo由官方挑选,纯音频模型在复杂多步逻辑推理上的表现仍存疑问。

查看事件：Block发布全双工语音模型Dessa

ElevenLabs发布Eleven Realtime v1语音到语音模型

2026年10月20日,ElevenLabs发布Eleven Realtime系列语音到语音模型,包含面向低成本自然对话的v1 Mini和面向复杂任务的v1 Max。据ElevenLabs博客,两者均支持90多种语言并可调用其17,000多个音色;Artificial Analysis的独立评测显示,v1 Max在Big Bench Audio语音推理上答对98.8%,平均0.57秒开始说话,v1 Mini分别为75.9%和0.62秒。该API兼容OpenAI Realtime API,已有集成只需更换endpoint和模型名,也可在ElevenAgents中直接选择模型部署。10月22日,智东西报道称两款模型目前仅支持WebSocket连接,其实测中Architect搭建助手可用语音修改Agent设置,但中文口音明显、回复偏长且延迟较高。

Arthur Mensch宣布发布一整套语音模型

Arthur Mensch宣布发布一整套最先进的语音模型。据Mistral AI于2026年10月20日发布的信息,该语音模型家族为Voxtral 3,包含支持50多种语言的转写模型Voxtral Small Transcribe 3,以及支持35多种语言和50多种方言的合成模型Voxtral Mini TTS 3;同时提供基于LiveKit的语音Agent SDK,将听、推理、工具调用和说话串成实时流式管线,官方称每轮响应在1秒内完成。转写模型支持说话人分离、上下文偏置和轮次结束检测,Mini版本为4B参数,批量转写定价为每分钟0.0035美元;合成模型定价为每100万字符13美元,支持30分钟音频的语音克隆。该家族可通过Mistral的欧洲托管API或自部署使用,语音Agent API搭配Mistral Small 4推理时定价为每分钟0.04美元。

Arthur Mensch宣布发布一整套语音模型

Arthur Mensch 发布 一整套最先进的语音模型

查看事件：Arthur Mensch宣布发布一整套语音模型

Mistral发布Voxtral 3语音模型系列

2026年10月21日,Mistral发布Voxtral 3语音模型系列,包括一款文本转语音模型和三款语音转文本模型:Small Transcribe 3、Mini Transcribe 3、Mini Transcribe Realtime 3。Artificial Analysis的评测显示,Voxtral Small Transcribe 3以2.1%的AA-WER Index在语音转文本榜单排名第3,领先ElevenLabs Scribe v2的2.2%和Grok Voice Transcribe 2.0的2.3%;Voxtral Mini Transcribe 3以2.2%排第5。Voxtral 3 TTS在提供方音色竞技场Elo为1,218,在98个模型中排第12,定价为每百万字符13美元。目前尚无进一步的有证据发展。

查看事件：Mistral发布Voxtral 3语音模型系列

蚂蚁百灵开源Ming-3.0语音系列共五款模型

2026年10月20日,蚂蚁百灵(inclusionAI)在GitHub开源Ming-3.0语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列,共五款模型。其中Ming-3.0-tts含0.5B稠密版和基于Ling V3的7.9B总参数、1.3B激活参数tiny MoE版,支持声音克隆、文本设计音色与多语种合成;Ming-3.0-audio-flash采用126B参数MoE架构、激活参数6.5B,另有9.3B参数、激活2.7B的tiny版本,覆盖多方言口音识别、长音频理解与端到端语音对话,采用MIT许可。同日,vLLM宣布vLLM-Omni在发布当天提供支持,蚂蚁百灵致谢并表示部署更便捷;atomic.chat也将Ming-3.0接入本地AI工作流。Artificial Analysis公布评测称,Ming-3.0-tts在受控语音TTS Arena中位列开源权重模型第一,发音鲁棒性93.2%在31个模型中并列第一。10月22日有博主表示计划本地试跑0.5B版;10月23日Artificial Analysis称其以0.5B参数达到顶级TTS质量。

ElevenLabs发布语音到语音模型Eleven Realtime v1

2026年10月20日,ElevenLabs发布Eleven Realtime系列语音到语音模型,包含面向低成本自然对话的v1 Mini和面向复杂任务的v1 Max。据ElevenLabs博客,两者均支持90多种语言并可调用其17,000多个音色;Artificial Analysis的独立评测显示,v1 Max在Big Bench Audio语音推理上答对98.8%,平均0.57秒开始说话,v1 Mini分别为75.9%和0.62秒。该API兼容OpenAI Realtime API,已有集成只需更换endpoint和模型名,也可在ElevenAgents中直接选择模型部署。10月22日,智东西报道称两款模型目前仅支持WebSocket连接,其实测中Architect搭建助手可用语音修改Agent设置,但中文口音明显、回复偏长且延迟较高。

查看事件：ElevenLabs发布Eleven Realtime v1语音到语音模型

蚂蚁百灵开源Ming-3.0语音系列模型

2026年10月20日,蚂蚁百灵(inclusionAI)在GitHub开源Ming-3.0语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列,共五款模型。其中Ming-3.0-tts含0.5B稠密版和基于Ling V3的7.9B总参数、1.3B激活参数tiny MoE版,支持声音克隆、文本设计音色与多语种合成;Ming-3.0-audio-flash采用126B参数MoE架构、激活参数6.5B,另有9.3B参数、激活2.7B的tiny版本,覆盖多方言口音识别、长音频理解与端到端语音对话,采用MIT许可。同日,vLLM宣布vLLM-Omni在发布当天提供支持,蚂蚁百灵致谢并表示部署更便捷;atomic.chat也将Ming-3.0接入本地AI工作流。Artificial Analysis公布评测称,Ming-3.0-tts在受控语音TTS Arena中位列开源权重模型第一,发音鲁棒性93.2%在31个模型中并列第一。10月22日有博主表示计划本地试跑0.5B版;10月23日Artificial Analysis称其以0.5B参数达到顶级TTS质量。

查看事件：蚂蚁百灵开源Ming-3.0语音系列共五款模型

Matt Turck称开源语音AI迎来小型端侧SOTA TTS模型套件

Matt Turck 转发并评论称,开源语音AI领域出现一套小型端侧SOTA文本转语音模型套件。相关消息显示,Gradium 开源了 Phonon 端侧语音合成模型套件,全部模型参数均在 50m 以下,主打多语言自然度与准确度,并称提供迄今最广的推理支持;其中 Phonon-31m 以 Apache 2.0 许可开放。目前该消息由 Matt Turck 转发,尚无更多后续发展。

Matt Turck称开源语音AI迎来小型端侧SOTA TTS模型套件

Matt Turck 转发并评论称,开源语音AI领域出现一套小型端侧SOTA文本转语音模型套件。相关消息显示,Gradium 开源了 Phonon 端侧语音合成模型套件,全部模型参数均在 50m 以下,主打多语言自然度与准确度,并称提供迄今最广的推理支持;其中 Phonon-31m 以 Apache 2.0 许可开放。目前该消息由 Matt Turck 转发,尚无更多后续发展。

查看事件：Matt Turck称开源语音AI迎来小型端侧SOTA TTS模型套件

Mistral发布Voxtral 3语音模型系列

2026年10月21日,Mistral发布Voxtral 3语音模型系列,包括一款文本转语音模型和三款语音转文本模型:Small Transcribe 3、Mini Transcribe 3、Mini Transcribe Realtime 3。Artificial Analysis的评测显示,Voxtral Small Transcribe 3以2.1%的AA-WER Index在语音转文本榜单排名第3,领先ElevenLabs Scribe v2的2.2%和Grok Voice Transcribe 2.0的2.3%;Voxtral Mini Transcribe 3以2.2%排第5。Voxtral 3 TTS在提供方音色竞技场Elo为1,218,在98个模型中排第12,定价为每百万字符13美元。目前尚无进一步的有证据发展。

TII发布Falcon-ASR语音模型

2026年10月7日,阿布扎比技术创新研究院(TII)发布Falcon-ASR多语言语音识别模型,参数规模为1.6B,重点覆盖阿联酋方言、阿拉伯语方言、现代标准阿拉伯语和英语。据同一来源报道,该模型在Open Universal Arabic ASR Leaderboard的六个测试集上平均WER为20.92%,比该榜单快照中最佳公开结果好2.25个百分点;内部阿联酋方言评测中WER为22.73%、CER为10.19%,WER比Qwen3-Omni低4.07个百分点。模型用同一套权重支持英语、法语、西班牙语和葡萄牙语,无需指定语言,并支持词级时间戳,已在Hugging Face Demo Space开放试用,API与原生应用尚在计划中。目前尚无后续发展事实。

微软发布实时语音转写模型

2026年10月1日,微软AI发布首款流式语音转写模型MAI-Transcribe-2-Streaming,支持60种语言和自动连续语言检测,收到音频后100毫秒出头即可给出首个部分结果。据微软AI Blog,该模型在Artificial Analysis的最终与部分转写准确率上均排名第一,年内按每小时音频0.54美元计价。同期还发布多语言文本转语音模型MAI-Voice-2.1及面向高并发低延迟场景的MAI-Voice-2.1-Flash,三款模型可通过Microsoft Foundry等渠道使用。后续MarkTechPost报道称,AA-WER Streaming测试显示其最终转写与首个部分转写均为2.5% WER,在38个模型中均排第一,最终结果延迟0.13秒,目前为公开预览,无SLA且未开放权重。

ElevenLabs介绍v4情感语音控制

2026年9月28日,ElevenLabs介绍Eleven v4通过音频标签控制情感语音的方法:可在脚本中用[furious]、[sarcastic]、[crying]等Audio Tags逐句指定情绪,模型据此调整语气、节奏和停顿,并加入叹息、笑声等非语言声音。官方建议一次生成整段文本以建立场景上下文,TTS应用单次最多支持10,000字符,每个句段只用一个情绪标签,效果不理想时优先替换标签而非改写文本。同日,ElevenLabs发布Eleven v4及低延迟版本Eleven v4 Turbo,称其为目前最具情感表现力的文本转语音模型;Eleven v4在Artificial Analysis排名第一,盲测中约75%听众更偏好它;Eleven v4 Turbo面向智能体等低延迟场景,中位推理延迟约100ms,中位首次发声时间约150ms。两款模型支持90多种语言,可用[laughs]等内联标签控制语气与音效,Instant Voice Clones仅需10秒音频,并新增Professional Voice Clones支持,现已在ElevenAgents、ElevenCreative

TII发布Falcon-ASR语音模型

Technology Innovation Institute (TII) 发布 Falcon-ASR多语言语音识别模型

查看事件：TII发布Falcon-ASR语音模型

微软发布实时语音转写模型

Microsoft AI 发布 MAI-Transcribe-2-Streaming实时语音转写模型

查看事件：微软发布实时语音转写模型