NVIDIA 在 Hugging Face 和 ModelScope 上发布开放权重模型 Nemotron 3.5 Transcribe，把转写、说话人分离、翻译和音频问答整合进同一个 checkpoint，支持 40 种语言转写、31 种语言与英文互译、13 种语言说话人标注，可处理最长 1 小时录音并标注最多 8 位说话人。该模型在 Hugging Face Open ASR Leaderboard 英语榜的开放权重模型中排名第一，平均 WER 为 5.33%，在 Artificial Analysis 上以约 4B 激活参数取得 2.8% AA-WER。同时发布的 Granary v2 覆盖 48 种语言、463,062 小时语音数据，配套 NeMo Speech 微调配方在医疗案例中把留出说话人的 WER 从 22.44% 降到 12.17%。
同一新闻来源- Analytics India Magazine
- Artificial Analysis
- gihyo.jp
- Hugging Face
- MarkTechPost
- NVIDIA Blog
- TechCrunch AI
- Testing Catalog
- The New Stack
推荐理由原文给出多语言转写、说话人分离与翻译的统一权重，并附公开榜单与微调配方，便于判断落地方式。
Google DeepMind 发布世界模型 Genie 4，主打实时交互模拟，并首次在该系列中引入原生音频。该模型基于 Gemini 家族能力，Gemini Omni 负责让模拟贴合真实世界的外观与行为，其他 Gemini 模型提供维持模拟连贯性所需的复杂推理。用户可用自然语言实时操控场景，如移动镜头、改变天气或引入新角色，每个世界还会即时生成环境音、音乐和交互对话。
同一新闻来源- Google Blog
- Google DeepMind
推荐理由原文说明了 Genie 4 在实时交互模拟中加入原生音频与自然语言操控，读者可据此了解世界模型的新能力边界。
Ollama 现在可以把文本转成语音，首个语音模型是来自 Gradium 的 Phonon 系列小型文本转语音模型，目前已在 macOS 上线，Windows 和 Linux 支持即将推出。在搭载 M5 Max 的 MacBook Pro 上，Ollama 借助 MLX 加速，速度比 Gradium 自家运行时快 35%，词错误率与 Hugging Face Transformers 参考实现持平。Phonon 兼容 OpenAI 的 /v1/audio/speech 接口，现有 OpenAI SDK 代码只需更换 base URL；phonon 以 Apache 2.0 发布，40M 模型采用 CC BY-NC 4.0 许可，仅限非商业使用。
推荐理由Ollama 上线语音模型并兼容 OpenAI 接口，读者可据此判断本地 TTS 的接入成本与平台限制。
Block 内部 AI 研究实验室于 10 月 23 日发布全双工语音到语音模型 Dessa，称其完全基于人类对话语音从零训练，可同时听和说，并能原生感知情绪、讽刺和笑声。该模型推理速度快于实时，可在 MacBook Pro M4 Max 或更高配置上本地运行，团队用单台 NVIDIA GB200 NVL72 完成训练。Block 已公开演示录音和公开等待名单，并向少量 AI 安全研究者开放早期访问。
同一新闻来源- IT之家·人工智能
- Numerama
- TechCrunch AI
- Testing Catalog
- The Decoder
- The Verge AI
- Unite.AI
- 凤凰科技
- 邵猛
- 阿易 AI Notes
推荐理由Dessa 只用语音数据从零训练，展示了全双工对话在情绪与插话时机上的处理方式，也给出了本地运行条件。
ElevenLabs 发布实时语音翻译模型 Eleven Realtime Translation，目前以 alpha 形式向 ElevenAPI 企业客户开放。该模型默认使用低延迟语音模型 Eleven v4 Turbo，支持 90 多种语言和自动语言检测，同一音色可跨语言保持一致，并可从 17500 多个音色库或自建语音克隆中选择。团队可调节翻译启动速度，在复杂通话的高质量翻译与低延迟之间取舍；德国电信已在 Magenta AI Call Assistant 中基于 ElevenLabs 构建新通话功能。
推荐理由原文说明了实时翻译模型的延迟可调设计与多语言一致性，读者可据此判断它在客服和电信场景的落地方式。
Mistral 发布 Voxtral 3 语音模型家族，包含支持 50+ 语言的转写模型 Voxtral Small Transcribe 3、支持 35+ 语言和 50+ 方言的合成模型 Voxtral Mini TTS 3，以及基于 LiveKit 的语音 Agent SDK，把听、推理、工具调用和说话串成一条实时流式管线，每轮响应在 1 秒内完成。转写模型支持说话人分离、上下文偏置和轮次结束检测，Mini 版本为 4B 参数，批量转写定价 $0.0035/min；合成模型定价 $13/1M 字符，支持 30 分钟音频的语音克隆。该家族可通过 Mistral 的欧洲托管 API 或自部署使用，语音 Agent API 搭配 Mistral Small 4 推理时定价 $0.04/min。
同一新闻来源- Arthur Mensch
- MarkTechPost
- Mistral AI
- Mistral AI · X
- Testing Catalog
- The Decoder
推荐理由原文给出语音智能体从转写到合成的完整链路与定价，读者可据此判断实时语音工作流的落地成本。
ElevenLabs 发布 Eleven Realtime 系列语音到语音模型，包含面向低成本自然对话的 v1 Mini 和面向复杂任务的 v1 Max，两者均支持 90 多种语言并可调用其 17,000 多个音色。Artificial Analysis 的独立评测显示，v1 Max 在 Big Bench Audio 语音推理上答对 98.8%，平均 0.57 秒开始说话，v1 Mini 分别为 75.9% 和 0.62 秒。该 API 兼容 OpenAI Realtime API，已有集成只需更换 endpoint 和模型名，也可在 ElevenAgents 中直接选择模型部署。
同一新闻来源- Analytics India Magazine
- ElevenLabs Blog
- Testing Catalog
- The Decoder
- The New Stack
- 凤凰科技
- 智东西
推荐理由原文给出两款语音到语音模型在推理、时延和对话动态上的独立评测数据，可据此判断语音智能体选型。
蚂蚁百灵 Ming-3.0 语音模型获 vLLM-Omni 首日支持
蚂蚁百灵开源了 5 个语音模型，覆盖 TTS、音频理解和 ASR，总参数量从 0.5B 到 126B（激活参数 6.5B）。vLLM 宣布 vLLM-Omni 在发布当天即提供 Ming-3.0 支持，蚂蚁百灵对此致谢并表示部署更便捷。
推荐理由vLLM-Omni 在 Ming-3.0 开源当天即提供支持，读者可据此了解这批语音模型的部署路径。
蚂蚁 inclusionAI 在 GitHub 开源 Ming-3.0-tts 语音合成模型，包含 0.5b 稠密模型和基于 Ling V3 的 tiny MoE 模型（7.9B 总参数、1.3B 激活参数），提供推理代码、任务 Cookbook 和评测表。模型支持声音克隆、文本设计音色、100+ 中文与 5 种英文内置音色、自然语言自由控制、14 种副语言标签，可合成中英德西法韩日及川渝话、广粤话。官方称在 Artificial Analysis 榜单上，Controlled Voice 开源模型第 1、Pronunciation Robustness 总榜第 1（93.2%）、Provider Voice 开源模型第 3。
同一新闻来源- IT之家·人工智能
- 蚂蚁 inclusionAI：GitHub 新仓库
- 蚂蚁百灵
推荐理由蚂蚁开源两款 TTS 模型，附完整推理代码与多语言、方言、副语言控制评测表，可对照选型。
Gemini 4 Argon 可将视频或摄像头画面变成可演奏合成器
Google Gemini 宣布 Gemini 4 Argon 能把视频或摄像头画面重新想象成可演奏的合成器。用户可在 Canvas 中快速搭建交互式音频应用，设定氛围后把摄像头当作乐器来演奏。
推荐理由Google Gemini 官方展示了在 Canvas 中把摄像头画面变成可演奏合成器的玩法，读者可了解其多模态交互的新用法。
苹果发布 Apple HomeView，一款配备 7 英寸 Liquid Retina 显示屏的智能家居设备，搭载由 Apple Intelligence 驱动的 Siri AI，可识别最多六名用户并提供个性化内容，支持 FaceTime、音乐播放和智能家居控制。HomeView 与壁挂版均售价 299 美元，今日起在澳大利亚、加拿大、印度、新西兰、英国和美国等地开启预购，11 月 13 日发货，因 Siri AI 在欧盟 iOS 暂不可用，该产品不在欧盟销售。设备搭载 A18 芯片和 Secure Exclaves，摄像头与麦克风数据在隔离环境中处理，Siri 请求可使用端侧处理或 Private Cloud Compute。
同一新闻来源- 9to5Mac
- Apple Newsroom
- CNET
- CNN Business Tech
- The Guardian Technology
- 极果
- 澎湃新闻
推荐理由原文给出 HomeView 的定价、上市地区和 Siri AI 的端侧与私有云计算路径，可据此判断苹果智能家居入口的落地范围。
FireRedTeam 开源 FireRedChat，提供全自托管的实时语音 AI 智能体方案，集成 TTS、ASR、pVAD 和 EoT，无需依赖外部 API，数据不出本地。系统由 LiveKit RTC Server、AI-Agent Bot Server、WebUI、Redis、TTS Server 和 ASR Server 组成，LLM 需自行部署，可用 Ollama、vLLM 或 Dify。2025/09/16 已发布级联系统所需的 pVAD、turn-detector 模型以及 FireRedTTS1、FireRedASR 服务，项目采用 Apache-2.0 许可。
推荐理由项目把 TTS、ASR、pVAD 与 EoT 串成可自托管的实时语音链路，读者可据此判断私有化语音智能体的部署成本。
FireRedTeam 开源 FireRedASR2S，一套包含 ASR、VAD、LID、Punc 四个模块的一体化语音系统，各模块均称达到 SOTA。FireRedASR2 支持中文（普通话及 20 多种方言口音）、英文、中英混说以及语音和歌声转写，在 4 个普通话公开基准上平均 CER 为 2.89%，在 19 个中文方言口音基准上为 11.55%，均优于 Doubao-ASR、Qwen3-ASR-1.7B、Fun-ASR 和 Fun-ASR-Nano-2512。FireRedVAD 支持 100 多种语言的语音、歌声和音乐检测，F1 为 97.57%；FireRedLID 覆盖 100 多种语言和 20 多种中文方言，准确率 97.18%；FireRedPunc 中英文标点预测平均 F1 为 78.90%。四个模块可独立使用，模型权重与推理代码已放出，技术报告见 arXiv。
推荐理由FireRedASR2S 把 ASR、VAD、LID、Punc 四个模块打包开源并给出各基准对比数据，可据此判断中文方言与歌声转写的可用性。
FireRedTeam 开源 FireRedAudio，一个基于共享 9B 参数 LLM 的通用音频语言模型，采用解耦的连续表示，Audio Encoder 负责理解、RedAE 通路负责生成。单模型覆盖 ASR、音频理解、零样本 TTS、Instruct TTS、语义与声学语音编辑，并支持对最长约一小时录音做精确时间对齐。项目以 Apache-2.0 许可发布，需 Python 3.10 与 uv，默认面向 CUDA 12.8；除 ASR 外，语音生成与音频理解仅支持中英文。
推荐理由FireRedAudio 用共享 9B 主干加解耦表示把 ASR、理解、TTS 与语音编辑收进一个模型，可据此判断统一音频栈的可行路径。
Thinking Machines Lab 发布交互模型研究预览，模型原生处理音频、视频和文本，实时感知与回应，而非依赖外部脚手架。其 TML-Interaction-Small 为 276B 参数 MoE、12B 激活，采用 200ms 微轮次的多流设计，并搭配异步后台模型处理长程推理与工具调用。官方称其在 FD-bench v1.5 与 Audio MultiChallenge 上兼顾智能与交互性，但长会话上下文管理、低延迟部署和更大模型服务仍是待解问题，计划今年晚些时候开放有限研究预览并发布更大模型。
推荐理由Thinking Machines Lab 把交互能力直接做进模型而非外挂脚手架，读者可了解实时多模态协作的架构取舍与实测边界。
LiveKit 发布 Agent Simulations，用 LLM 驱动的模拟用户跑完整个场景，再由 LLM 裁判按自定义预期给出通过或失败及原因，现已面向所有 LiveKit Cloud 项目开放。该功能按任务而非逐轮对话测试，CLI 可读取智能体代码自动生成场景，文本模式默认运行且可在每次 pull request 时执行，音频模式覆盖背景噪声、打断和附和声，按更高费率计费。Serve AI 曾用它在切换流量前以一百通真实生产通话验证一次完整的智能体重写，10 月前免费使用。
推荐理由原文给出了语音智能体任务级测试的完整机制与两种运行模式，读者可据此判断它能否替代人工拨测。
微软发布首款流式转写模型 MAI-Transcribe-2-Streaming，支持 60 种语言和自动连续语言检测，在 Artificial Analysis 的最终与部分转写准确率上均排名第一，收到音频后 100ms 出头即可给出首个部分结果，年内按每小时音频 0.54 美元计价。同时发布多语言文本转语音模型 MAI-Voice-2.1，支持 23 种语言和 26 个地区，单一音色可用各语言的原生口音，定价每 100 万字符 22 美元；以及面向高并发低延迟场景的 MAI-Voice-2.1-Flash，端到端延迟 150ms、可生成 45 秒音频，推理速度提升 55%，定价每 100 万字符 15 美元。三款模型可通过 Microsoft Foundry 等渠道使用，MAI-Voice-2.1 系列已上线 OpenRouter。
同一新闻来源- MarkTechPost
- Microsoft AI Blog
推荐理由微软一次性发布流式转写与两款语音合成模型，并给出延迟、语言数和定价，可据此判断实时语音智能体的成本与响应空间。
字节 Seed 正式发布 SeedRealtime，一个原生音视频全双工 LLM，用统一架构原生融合音频、视频和文本，支持连续多模态流上的实时交互。官方称其实现音视频联合理解、主动交互和自然对话节奏三项突破，端到端人工评测显示相比级联模型，音视频对话节奏问题减少一半。目前 SeedRealtime 已全面上线，官方称这是音视频全双工技术的大规模部署。
推荐理由字节 Seed 发布原生音视频全双工模型，并给出与级联方案在对话节奏上的端到端人工评测对比。
Vapi 发布 Personal Agent Calling 测试版，为个人助理提供语音层，用户只需把一段提示词粘贴进助理并填入商家与任务，Vapi 即可代为拨号、等待并回报结果。该功能支持 Muse、Instinct、GrokBot、ChatGPT Work、Claude Code、OpenClaw 和 Hermes 等助理，除 Vapi 通话分钟数外不额外收费。测试中其营收负责人 Bryan Parman 让助理致电航空公司申请 Economy Plus 过道座位，助理在等待 14 分钟后接通人工，按指示拒绝支付 51.69 美元费用，最终获得免费升舱。
推荐理由原文给出个人助理代打电话的接入方式与一次真实通话细节，读者可据此判断这类语音层如何接管日常事务。
ElevenLabs 发布 Eleven v4 及其低延迟版本 Eleven v4 Turbo，称其为目前最具情感表现力的文本转语音模型。Eleven v4 在 Artificial Analysis 排名第一，盲测中约 75% 听众更偏好它；Eleven v4 Turbo 面向智能体等低延迟场景，中位推理延迟约 100ms，中位首次发声时间约 150ms。两款模型支持 90 多种语言，可用 [laughs] 等内联标签控制语气与音效，Instant Voice Clones 仅需 10 秒音频，并新增 Professional Voice Clones 支持，现已在 ElevenAgents、ElevenCreative 和 ElevenAPI 上线。
推荐理由官方给出新架构、盲测偏好与延迟数据，可据此判断语音智能体的表达力与响应速度取舍。
