LPCNet 实战:为开发者加速语音 AI 的轻量神经声码器
LPCNet 是一种可在低功耗 CPU 上实时运行、无需 GPU 的神经声码器,实时语音合成仅需 3 GFLOPS,模型体积 1.3 MB,单核 CPU 即可实时运行。它在 MOS 测试中稳定超过 4.0 分,比 MELP、AMR-WB 等轻量方案高 0.2 至 0.5 分。该技术由 Jean-Marc Valin 和 Jan Skoglund 于 2019 年提出,适合移动端、IoT 与实时通信等资源受限场景。
匹配字段标题
LPCNet 是一种可在低功耗 CPU 上实时运行、无需 GPU 的神经声码器,实时语音合成仅需 3 GFLOPS,模型体积 1.3 MB,单核 CPU 即可实时运行。它在 MOS 测试中稳定超过 4.0 分,比 MELP、AMR-WB 等轻量方案高 0.2 至 0.5 分。该技术由 Jean-Marc Valin 和 Jan Skoglund 于 2019 年提出,适合移动端、IoT 与实时通信等资源受限场景。
匹配字段标题
Vapi 通过传统算法与 AI 模型结合的降噪方案,让语音智能体在真实噪声环境下保持清晰识别,支持超过 100 种语言。其降噪能力可提升语音转文字准确率、减少用户重复表达,并降低噪声引发的模型幻觉;开发者还可通过“Bring Your Own Model”接入自定义降噪模型。
匹配字段标题
Vapi 盘点了 Vosk 在医疗语音识别场景下的五个替代模型:Mozilla DeepSpeech、Wav2Vec 2.0、SpeechBrain、ESPnet 和 OpenAI Whisper,其中 Whisper 基于 68 万小时多语言监督数据训练。这五个模型均可通过自定义 STT 配置接入 Vapi 的语音 AI 流水线,由 Vapi 负责编排、延迟与 HIPAA 合规。文章按医学术语理解、噪声环境、减轻医护负担和安全性四项标准评估各模型。
匹配字段标题
Vapi 与 Coval 达成合作,开发者可在真实通话上线前用 Coval 对 Vapi 工作流进行模拟和压力测试。该集成支持跨 Vapi 工作流运行自动化测试,追踪延迟、任务完成率和流程准确率,并在影响线上流量前捕获回归问题。
匹配字段标题
Cartesia 推出专业语音克隆(PVC),基于 Sonic 模型微调,可复刻音色、节奏、风格和环境。PVC 现已在 Startup 及以上套餐自助提供,支持 15 种语言,可通过 Playground 或 API 创建。

匹配字段标题
Vapi 宣布其语音 AI 智能体现已支持 SMS,可在通话中发送外呼短信、实时接收并回复来信,并在用户停止说话转为打字时从语音切换到文本。该功能通过导入 Twilio 号码并在 Vapi Dashboard 创建 Send Text 工具启用,美国用户需注册 A2P 10DLC 或验证 toll-free 号码。Vapi 表示后续将支持更多服务商、MMS 富媒体、自动消息模板及跨语音与文本的多渠道对话历史。
匹配字段标题
Deepgram 最新 TTS 模型 Aura-2 已在 Vapi 上线,用户可在配置中把 TTS 提供商切换为 deepgram-aura-2,无需额外集成。Aura-2 基于真人对话数据训练,首字节延迟低于 150ms,并针对医疗、金融、物流、客服等场景优化了发音准确度与情感语调。
匹配字段标题
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资,并发布语音生成模型 Sonic 2.0。Sonic 2.0 基于新的状态空间模型架构,规模是前代两倍,全模型延迟 90ms、turbo 40ms,在 100 个保留声音的盲测中偏好度是次优提供商的 1.5 倍。同时推出 Voice changer 和 Infill 两个新端点,API 提供 99.9% 可用性并支持实时本地与端侧部署。

匹配字段标题
Vapi 宣布集成 Cartesia 的 Sonic 2.0 语音生成模型,基于状态空间模型架构,turbo 模式下延迟低至 40ms,并提供 voice changer 与 infill 等新端点。该集成支持 99.9% 可用性、SOC-2 与 HIPAA 合规,以及本地和端侧部署,用户可在 Vapi 控制台的语音提供商下拉菜单中选择 Cartesia Sonic 2.0。
匹配字段标题
Cartesia 发布教程,介绍如何用其 API 与 Sonic 模型构建语音 AI 智能体。工作流包括语音转文本、自然语言处理、信息检索、响应生成和文本转语音。教程建议使用 WebSocket 或流式端点以降低延迟,并提到可用 Whisper API 或 Google Speech to Text 等做语音识别,用 Claude Sonnet 或 OpenAI O1/4O 生成响应。
匹配字段标题
Cartesia 发布 2024 语音 AI 现状报告,总结语音交互新架构、企业级 API 进展与语音代理平台兴起。报告指出,OpenAI 语音模式、Kyutai Moshi 等推动语音到语音模型发展,Cartesia 基于状态空间模型的 Sonic TTS 实现高效部署。Deepgram Nova-2 词错率降低 30%,LLM 成本从 GPT-4 的 45 美元/百万 tokens 降至 Llama 3.1 70B 的 2.75 美元/百万 tokens。

匹配字段标题
Cartesia 在 2024 年 10 月举办多场黑客松,吸引 2000 多名开发者,发放 2 万美元奖金,50 多个项目基于 Sonic 语音模型构建语音优先应用。获奖项目包括 Form Wizard Pro、Story Narrator AI、SheBeTalking、SpeakEasy 等,覆盖表单、教育、游戏、机器人等场景。

匹配字段标题
Vapi 的语音 AI 助手可在客户通话中实时分析语音模式、语调和说话特征,识别故事前后矛盾、异常压力模式或操纵对话等欺诈信号,并标记可疑通话供进一步调查。该技术还能与理赔历史、保单持有人信息等数据源结合,通过跨通话分析发现团伙欺诈或惯犯,减少误报。FBI 估计非健康险类保险欺诈每年造成超过 400 亿美元损失。
匹配字段标题
Vapi 在 Launch Week 期间推出 Tools 集成,可将已有的 GHL 工作流和 Make 场景导入 Vapi 并作为 Tools 添加到语音助手中,通过语音指令触发这些自动化流程。用户可在 Vapi 控制台的 Tools 板块完成导入与配置,实现日程安排、CRM 更新、发送邮件等操作。
匹配字段标题
Cartesia 发布低延迟语音模型 Sonic,模型延迟为 135ms,可生成逼真语音。该模型基于状态空间模型架构,在实验中相比 Transformer 实现将时间到首音频延迟降低 1.5 倍、实时因子降低 2 倍、吞吐量提高 4 倍,并提供 Web playground 和低延迟 API。

匹配字段标题
Vapi 官方博客给出语音 AI 助手性能优化清单:在 Advanced 设置中把默认 0.1 秒的 Response Delay 和 LLM Request Delay 调为零,模型上 OpenAI 的 GPT-3.5 明显快于 GPT-4,转写推荐 Deepgram 而非 Talk Scribe,语音供应商中 Rhyme AI 与 Azure 响应最快。此外应减少自定义函数调用、让 transient 助手服务器与 Vapi 同区域部署,并通过精简提示词结构降低延迟。
匹配字段标题
OpenAI 将 GPT-4o 免费提供给 ChatGPT 用户,并推出具有人类级响应速度和表现力的新语音及视频模式。Sam Altman 表示,这种交互快速、自然且实用,未来还将加入可选的个性化、信息访问和代用户执行操作等能力。
匹配字段标题
2026年10月30日,Edge0发布开源权重语音克隆TTS模型Audio8-TTS-Realistic。据MarkTechPost报道,该模型参数规模为601M,支持23种语言,权重与代码以Apache 2.0发布。模型只需1段参考音频及对应文本即可零样本克隆音色,也可在无参考音色时直接生成语音。自报结果显示,其在CV3九语言上平均错误率为4.86%,低于Qwen3-TTS-1.7B的7.73%;但在MiniMax基准上落后于4B级模型,泰语WER达48.57%。目前尚无后续进展。
匹配字段标题
2026年10月30日,Edge0发布开源权重语音克隆TTS模型Audio8-TTS-Realistic。据MarkTechPost报道,该模型参数规模为601M,支持23种语言,权重与代码以Apache 2.0发布。模型只需1段参考音频及对应文本即可零样本克隆音色,也可在无参考音色时直接生成语音。自报结果显示,其在CV3九语言上平均错误率为4.86%,低于Qwen3-TTS-1.7B的7.73%;但在MiniMax基准上落后于4B级模型,泰语WER达48.57%。目前尚无后续进展。
匹配字段标题
2026年10月29日,AssemblyAI推出首个文本转语音模型AssemblyAI-TTS-1并正式开放,面向实时电话语音智能体,定价为每100万字符15美元,不设年度合同和并发档位。据MarkTechPost报道,该模型仅以托管API形式在us-east-1和eu-north-1提供,支持HTTP、WebSocket和OpenAI兼容接口,内置4000多种音色、即时声音克隆和6种语言;厂商自测显示实体准确率93.7%、首字节中位延迟47毫秒,但Cekura独立基准测得流式延迟159毫秒、朗读准确率81.5%,且发布时尚不支持SSML、语速控制和情感标签。同日,Artificial Analysis的Provider Voice Arena评测显示,AssemblyAI-TTS-1以Elo 1227排名第12,发音鲁棒性得分81.7%排名第16,生成速度为每秒162字符。当天晚些时候,OpenRouter宣布AssemblyAI-TTS-1已上线,面向语音智能体场景,可从美国或欧盟节点提供服务。
匹配字段标题