搜索“语音”

Cartesia发布Ink语音转文字模型

2025年6月10日,Cartesia推出Ink系列流式语音识别模型,首发Ink-Whisper基于OpenAI Whisper优化,面向实时语音智能体。Ink-Whisper在背景噪声、专有名词、口音等场景下WER优于whisper-large-v3-turbo,并实现最低TTCT,价格为1 credit/秒(Scale计划$0.13/小时)。

Cartesia发布Sonic 2.0语音模型

2025年3月11日,Cartesia发布语音生成模型Sonic 2.0。据Cartesia产品与研究当日发布的信息,Sonic 2.0基于新的状态空间模型架构,规模是前代两倍,全模型延迟90ms、turbo模式40ms,在100个保留声音的盲测中偏好度是次优提供商的1.5倍;同时推出Voice changer和Infill两个新端点,API提供99.9%可用性并支持实时本地与端侧部署。同日,Vapi宣布集成该模型,称其turbo模式延迟低至40ms,集成支持99.9%可用性、SOC-2与HIPAA合规以及本地和端侧部署,用户可在Vapi控制台的语音提供商下拉菜单中选择Cartesia Sonic 2.0。目前该模型已发布并获得第三方平台集成。

Cartesia发布Voice Changer语音转换模型

2024年10月30日,Cartesia推出Voice Changer语音转换模型。据其介绍,该模型可将任意音频片段的声音替换为其他音色,同时保留原始的语气、情感和韵律。用户既可从其录音棚级音色库中选择音色,也可克隆自己的声音,并控制发声、情感和韵律等细节。该模型基于Cartesia在状态空间模型(SSM,如S4和Mamba)上的工作,已在playground上线,使用流程为上传文件、选择音色、生成音频三步。

Cartesia发布低延迟语音模型Sonic

2024年5月31日,Cartesia发布低延迟语音模型Sonic,模型延迟为135ms,可生成逼真语音。该模型基于状态空间模型架构,在实验中相比Transformer实现将时间到首音频延迟降低1.5倍、实时因子降低2倍、吞吐量提高4倍,并提供Web playground和低延迟API。

苹果推出第三代 Apple Foundation Models,含五款模型

2026年10月10日,Apple 推出第三代 Apple Foundation Models(AFM),共五款模型,覆盖端侧与运行在 Private Cloud Compute 上的服务器模型。端侧包括 30 亿参数的 AFM 3 Core 和 200 亿参数、稀疏架构的 AFM 3 Core Advanced,后者每次仅激活 1 至 40 亿参数;服务器端包括 AFM 3 Cloud、图像模型 ADM 3 Cloud 和 AFM 3 Cloud Pro。评测显示,AFM 3 Core 在通用文本上获得 45.6% 的偏好率,AFM 3 Cloud 为 64.7%,AFM 3 Core Advanced 的语音合成 MOS 得分为 4.15。目前尚无后续发展事实。

Inception发布Mercury 2

2026年9月29日,Inception Labs发布扩散式推理语言模型Mercury 2,称其为全球最快的推理语言模型。该模型采用扩散式并行精炼而非自回归逐 token 解码,官方称生成速度提升超过5倍,在NVIDIA Blackwell GPU上达到1,009 tokens/sec。定价为每百万输入token 0.25美元、每百万输出token 0.75美元,支持可调推理、128K上下文、原生工具调用和schema对齐的JSON输出,并兼容OpenAI API,面向编码补全、智能体循环、实时语音和搜索RAG等延迟敏感场景,现已可用。同日,Inception Labs宣布Mercury 2上线Azure AI Foundry,目前在美国和加拿大区域提供。

Cartesia发布Ink语音转文字模型

Cartesia 发布 Ink语音转文字模型

查看事件：Cartesia发布Ink语音转文字模型

Cartesia发布Sonic 2.0语音模型

Cartesia 发布 Sonic 2.0语音模型

查看事件：Cartesia发布Sonic 2.0语音模型

Cartesia推出Voice Changer语音转换模型

Cartesia 推出 Voice Changer语音转换模型

查看事件：Cartesia发布Voice Changer语音转换模型

Cartesia发布低延迟语音模型Sonic

Cartesia 发布 低延迟语音模型Sonic

查看事件：Cartesia发布低延迟语音模型Sonic

OpenRouter上线Mistral的Voxtral 3

OpenRouter宣布,Mistral的Voxtral 3已上线。该系列包含两个新的语音转写模型和一个新的语音合成模型,覆盖50多种语言。Mistral官方称,Voxtral 3的Transcribe与Speech模型为其新的语音智能体API提供支持。目前没有更多后续发展。

Voxtral 支持实时说话人分离与轮次结束检测

Mistral 发布 Voxtral 3 语音模型,该模型包含 Transcribe 与 Speech 两个模型,用于支撑其新的语音智能体 API。联合创始人 Arthur Mensch 表示,Voxtral 可在运行中完成说话人分离和轮次结束检测,既可部署在自有基础设施,也可使用 Mistral 的云端服务。目前该消息来自单一来源报道,尚无后续发展事实。

Inception发布旗舰扩散语言模型Mercury 3

2026年10月19日,Inception发布旗舰扩散语言模型Mercury 3。官方称其在多项基准上超过GPT-6 Luna和Claude Haiku 5.5,在NVIDIA GPU上达到1,068 tokens/s,速度为后两者的4–8倍;参数量比Mercury 1大40倍以上,上下文窗口从Mercury 2.5的260K提升到1M,从Mercury 1(mini)到Mercury 3的基准智能水平提升3倍。该模型已在Inception API Platform及OpenRouter、Baseten、Vercel上线,兼容OpenAI API,早期合作伙伴已将其用于语音与客服、实时辅导、数据工程和网页导航。10月20日的报道补充称,发布价每百万输入tokens 0.10美元、输出0.35美元,正式价为0.20和0.70美元,缓存输入0.02美元;Mercury 2和2.5已停止向新用户开放,老客户可用至2026年11月15日。目前尚无进一步有证据的发展。

Nvidia发布Nemotron 3.5 Super VL与Bolt模型

Nvidia于2026年10月15日宣布推出Nemotron 3.5 Super VL与面向端侧的3.5 Bolt模型。据Nvidia官方介绍,Super VL为120B参数开放模型,面向常驻智能体任务,官方称其在同类开放模型中吞吐最高,比次优模型快5倍;同时推出Bolt 74B-A9B 24GB与Bolt E4B 4GB两款端侧模型,前者可在RTX/DGX Spark本地运行智能体任务,后者面向GeForce RTX、Jetson上的语音与对话智能体。Super VL与Bolt 74B-A9B已上线Hugging Face,Bolt E4B计划于10月23日发布。同日,SGLang宣布为Super VL提供Day-0支持,在单张RTX 6000 PRO上借助MTP达到243.9 tok/s;Prime Intellect与Nvidia用GRPO在128张GB200 GPU上后训练约11小时,使其在AutomationBench-AA公开集上从34.0%提升到57.7%。当晚OpenRouter上线该模型,次日Perplexity宣布Pro和Max订阅用户及Agent API可使用。

IBM发布Granite Switch 4.1的8B与30B模型

2026年10月16日,IBM发布Granite Switch 4.1-8B和4.1-30B模型。据Hugging Face发布的信息,这两个模型内置一组预编译适配器,可在同一端点提供对话、决策与语音能力。由于适配器共享基座模型的KV cache,在通用决策适配器之外叠加专用适配器几乎不增加成本,专用适配器在专门分类任务上可超过通用决策模型。在5步RAG工作流对比中,Granite-Switch-4.1-30B(冻结基座Granite加4个专用aLoRA)快于Jev-27B(冻结基座Qwen加1个通用决策LoRA);其3B版本在Doom游戏中达到60至100次决策/秒,并可在游玩时进行叙述和回答问题。IBM还计划在Mellea中发布用于训练适配器的Adapter SDK,并支持社区用自定义及第三方适配器组合自己的Granite Switch模型。目前尚无后续发展事实。

Fish Audio 发布 35B 开源权重 TTS 模型 Drama 3

2026 年 10 月 15 日,Fish Audio 发布文本转语音模型 Drama 3。据 MarkTechPost 报道,该模型为 35B 参数的混合专家(MoE)架构,每 token 约激活 3B 参数,权重已上传 Hugging Face,并同步上线 Fish Audio API。模型支持 83 种语言,可用方括号内的自然语言表演指令控制语气,单次请求最多支持 16 个说话人。在 Artificial Analysis 发音鲁棒性评测中整体得分 93.2%,其中品牌、地名与技术术语 95.9%,代码、路径、邮箱等精确序列为 86.3%。自托管需至少 48 GB 显存的 NVIDIA GPU 并以 FP8 运行;API 标价每 100 万字符 50 美元,11 月 12 日前为 10 美元。目前尚无后续发展事实。

SpaceXAI 发布 Grok Voice 3.0

2026年10月15日,SpaceXAI 发布语音到语音模型 Grok Voice 3.0。据 MarkTechPost 报道,该模型在 Artificial Analysis Speech-to-Speech Index 上以 86.9 分排名第一,高于 GPT-Live-1(Astra, medium)的 83.2 分和 Gemini 3.8 Live Extended Thinking 的 82.6 分;其 τ-Voice 得分 71.6%,仍低于 GPT-Live-1 的 74.5%。模型通过 /v1/realtime WebSocket 端点以 grok-voice-3.0 提供,仅托管 API、无开放权重,价格维持 $0.08/分钟,首音频延迟 0.81 秒。SiliconANGLE 同日报道称,该模型已在 Voice Agent API 上线,每分钟 8 美分,与 Grok Voice 2.0 同价,并称其首次出声快约 40%。目前无进一步有证据的发展。

Fish Audio 发布 35B 开源权重 TTS 模型 Drama 3

Fish Audio 发布 Fish Audio Drama 3 文本转语音模型

查看事件：Fish Audio 发布 35B 开源权重 TTS 模型 Drama 3

FireRedTeam 发布 FireRedAudio 代码与模型

2026年8月21日,FireRedTeam 发布 FireRedAudio 的代码与模型。据其原创项目说明,FireRedAudio 是一个基于共享 9B 参数 LLM 的通用音频语言模型,采用解耦的连续表示,Audio Encoder 负责理解、RedAE 通路负责生成。该单模型覆盖 ASR、音频理解、零样本 TTS、Instruct TTS、语义与声学语音编辑,并支持对最长约一小时录音做精确时间对齐。项目以 Apache-2.0 许可发布,需 Python 3.10 与 uv,默认面向 CUDA 12.8;除 ASR 外,语音生成与音频理解仅支持中英文。目前尚无后续发展事实。

FireRedTeam 发布 FireRedTTS3 及 Gradio 演示

2026年8月13日,FireRedTeam 发布 FireRedTTS3,并同步发布 FireRedTTS3 Base 与 Instruct 的 Gradio demo。据其原创项目介绍,FireRedTTS3 是一个基于语义增强连续语音表征的统一语音生成与编辑系统,包含 Base 和 Instruct 两个版本。Base 支持 24 种语言和 21 种中文方言的零样本语音克隆,在 MiniMax-MLS-Test 上平均 WER/CER 为 3.754%、说话人相似度 84.8%;Instruct 支持自然语言语音设计以及语义、声学语音编辑。模型已在 Hugging Face 和 ModelScope 开放下载,采用 Apache-2.0 许可。目前尚无后续发展事实。