ElevenLabs 推出 Eleven Realtime 托管语音智能体，开发者需让出底层模型控制权

ElevenLabs于周二推出Eleven Realtime，带来Mini和Max两款托管语音智能体模型，集成了语音识别、推理、轮次切换和语音生成能力。两者均采用级联架构，但开发者无法选择或独立配置底层模型。

借助此次发布，该公司实际上接管了语音智能体的运行框架，包括轮次检测、打断处理和编排调度。

借助此次发布，该公司实际上接管了语音智能体的运行框架，包括轮次检测、打断处理和编排调度。这减少了构建和维护语音智能体技术栈所需的工作量，但限制了开发者独立排查问题、优化或替换其底层组件的能力。

开发者可以通过ElevenAgents配置提示词、语音、工具、知识库和轮次切换设置，包括积极程度、超时和打断处理。

另一种选择是Custom模式，允许开发者选择底层的语言和语音模型，并自行配置流水线。Realtime以这种灵活性换取了托管式实现。开发者仍可控制智能体的行为，但无法控制负责该行为的各个模型。

来自外部测试机构的基准测试

Artificial Analysis通过在语音推理、对话动态和人类偏好方面评估这两款模型，得出了性能数据。在包含1,000道口语推理题的基准测试Big Bench Audio上，Max得分为98.8%，而Mini为75.9%。

ElevenLabs建议将Max用于频繁或复杂调用工具的智能体。

这一差距在工具使用方面更为明显。Max完成了87.1%的任务，而Mini仅完成了60.3%。ElevenLabs建议将Max用于频繁或复杂调用工具的智能体。构建用于处理预订、客户账户或其他多步骤工作流的智能体的开发者，会希望亲自测试这一差异。

该公司将Mini设为默认模型，称其能够处理大多数用例。Mini在Full-Duplex-Bench上的表现也略好，该测试考察停顿、打断和轮次切换，Mini得分为95.8%，而Max为94.1%。

两款模型在延迟方面差距要小得多。Max的首个音频平均延迟为570毫秒，而Mini为620毫秒。Artificial Analysis的6月语音到语音指数记录到Deepslate Opal的更快结果为440毫秒，不过该早期基准测试与Eleven Realtime并非直接可比。

从OpenAI的Realtime API迁移

ElevenLabs也在争取已经运行OpenAI Realtime API的团队。迁移指南称，Eleven Realtime通过相同的WebSocket传输使用相同的协议，因此基于OpenAI SDK构建的应用无需更换SDK即可指向ElevenLabs。需要更改的是端点和模型名称。

不过迁移并非免费。该端点仅支持WebSocket，因此WebRTC应用必须先更换传输方式。SDK仅在WebRTC上自行处理音频。在WebSocket上，开发者需自行采集和播放24kHz PCM16音频。目前WebRTC应用可从SDK获得采集和播放能力，因此迁移意味着这两者都需要自行构建。

Realtime API还与ElevenAgents分开运行。电话和WhatsApp渠道、知识库以及监控都位于平台侧。该公司表示，需要这些功能的团队应从一开始就基于ElevenAgents构建，因为一开始使用裸API以求快速推进的团队，之后可能不得不重新构建这些功能。

Mini与Max的取舍

根据ElevenAgents文档，Mini和Max智能体之间可以相互转接通话，但两者都无法与运行在Custom模式下的智能体相互转接通话。Mini还不支持零保留模式和HIPAA配置。Max在美国和欧盟均支持这两项，但在印度或新加坡的数据驻留环境中不可用。

Max的每token成本更高，但其更强的工具使用性能可能使其在Mini需要更多尝试才能完成任务的场景中反而更便宜。

两款模型均按ElevenAgents标准每分钟费率计费，另加token费用。Max的每token成本更高，但其更强的工具使用性能可能使其在Mini需要更多尝试才能完成任务的场景中反而更便宜。

先测试再信任

ElevenLabs负责底层模型和编排，但开发者仍需要足够的诊断信息，以便在通话失败时查明问题所在。目前尚不清楚Realtime能提供多少此类信息。

基准测试结果令人期待，但并未展示Realtime在生产负载下的表现。开发者需要观察性能是否能够保持，以及ElevenLabs是否提供足够的信息来追踪故障。

截至发稿时，ElevenLabs未回应The New Stack的置评请求。

文章《ElevenLabs想运行你的语音智能体。以下是开发者需要放弃的东西。》首发于The New Stack。