隆重推出 Eleven v4，认识 Eleven v4，这是我们迄今为止最具情感表现力的模型。
探索跳至内容登录注册联系销售登录语音 AI 基础设施由一组模型、连接、工具和服务构成，使 AI 智能体能够聆听通话、决定该做什么、在其他系统中采取行动，并开口作答。而借助 ElevenLabs 等领先提供商，这一切都在几分之一秒内完成。
生产环境中的语音智能体运行在一套分层技术栈之上，包括语音识别、轮次管理、大语言模型、编排、工具、知识检索、语音合成、电话传输和监控。
本指南阐释了支撑一个可运行语音智能体的 AI 智能体架构。每一节都会说明某一层的作用、它在更广泛的基础设施中为何重要，以及 ElevenAgents 如何实现该层，并以 Eleven v4 作为语音层的示例。
语音 AI 基础设施如何协同运作
语音智能体将音频转换为文本，基于该输入进行推理，生成回答，然后将该回答再转换回客户听到的音频。这一连串动作由一套稳健的 AI 智能体架构技术栈构成。
以下是 2026 年构成语音 AI 基础设施的主要分层：
- 语音识别： 自动语音识别 （ASR）技术将呼叫者的音频转换为文本以供处理。
- 轮次管理： 轮次管理 决定呼叫者何时说完以及何时停止说话，从而实现更流畅、更及时的对话。
- 语言模型：在提取必要的上下文后，解读转写后的请求并生成回复。
- 编排：一个 AI 编排层 负责在提示、子智能体、工具和人类之间路由对话。
- 工具与 MCP：将智能体连接到外部系统，例如 CRM 平台 或 联络中心,以执行任务。
- 知识与记忆：通过 检索增强生成.
- 语音合成：使用 文本转语音 将文本生成的回复转换为音频。
- 传输与电话：在智能体与呼叫者之间传输音频。
- 护栏、测试与监控：确保智能体保持任务专注且可衡量。
这些组件共同协作，在 AI 智能体 与来电客户之间实现实时对话。
语音 AI 架构图
这一流程并非一条直线。ElevenAgents 在从语言模型接收到“足够多的词和一个逗号”后便开始说话，这意味着音频在完整回复生成之前就已开始播放。计费通话和检索在一轮对话进行中运行。打断可能随时出现，智能体在生成语音时会自然地处理这些打断。
构建语音 AI 架构的两种方式
ElevenAgents 支持 两种语音模式. 在 Custom 模式下，你需要自行选择语言模型、文本转语音模型和语音识别设置。
在 Realtime 模式下，你 选择一个 Eleven Realtime 模型 ，由 ElevenLabs 为你管理这些设置。Eleven Realtime v1 Mini 是默认选项，延迟和成本最低。Eleven Realtime v1 Max 会在回应前先进行推理，适合更复杂的指令以及需要多步骤工具调用的场景。
该 系统提示词、所选语音、工具、附加知识库和轮次设置在两种模式下作用相同。当你需要特定的语言模型、自定义 LLM 或特定的 TTS 模型（出于性能或 延迟优化）时，Custom 模式是更好的选择。)
语音识别：将音频转换为文本
语音识别，也称为 ASR 或 语音转文本，是技术栈的第一层。
它的作用
模型会在来电者说话时持续转写其音频。持续转写使流水线的其余部分能够在句子结束前就开始工作，从而节省延迟。先进的模型能够处理浓重口音、不同语速以及背景噪声等各种情况。
为什么它对语音 AI 基础设施很重要
转写可以说是技术栈中最重要的层之一，因为这里的任何错误都会渗透到后续各个阶段。听错预订参考号？客户记录操作出错。把药物名称弄错？可能酿成灾难。
在其 医疗保健信任框架, ElevenLabs 用一个听错的音节说明了风险有多高：羟嗪与肼屈嗪。
ElevenAgents 如何实现
ElevenAgents 使用 Scribe v2 Realtime, 它能在约 150 毫秒内转写语音。ElevenLabs 针对嘈杂背景、多样口音以及姓名、电子邮件和 ID 等标识符对其进行了训练。在涵盖 30 种语言的 FLEURS 多语言基准测试中，ElevenLabs 报告了最低的词错误率 ，在所有低延迟 ASR 模型中表现最佳。
你可以在智能体配置的“高级”部分启用它。在上文提到的同一份白皮书中，ElevenLabs 报告称， Scribe v2 Medical 在公开的 Eka Medical ASR 基准测试中领先所有模型，词错误率为 7.0% 词错误率 截至发稿时。
准确（且快速）的转写能为后续各层提供所需的干净输入，而不会增加明显的延迟。
轮次管理：知道何时开口、何时停止
轮次管理是一套规则，决定智能体何时回复、何时倾听。能够有效理解对话中的轮次并据此行动，正是对话与 传统 IVR 电话菜单.
它的作用
轮次管理组件为语音 AI 基础设施提供了以下几项功能：
- 语音活动检测（VAD） （VAD） 将传入音频分类为语音或静音，每秒数十次。 将传入音频分类为语音或静音，每秒数十次。
- 轮次结束检测：通过语调、节奏和词语上下文判断来电者是否已经说完。
- 打断（Barge-in）：允许来电者打断，此时智能体停止说话，让用户继续。
- 反向通道：诸如“yeah”之类的简短确认，不接管话轮。
为何重要
大约 毫秒是人类对话中说话人之间的典型间隔。 在人类对话中。回复过早的智能体会打断来电者，而等待过久的智能体则会造成沉默，让通话显得中断或缺乏响应。
例如，设想一位来电者说“我想预订周五下午，但是……”然后停顿。静音计时器会在停顿处回复，从而错过这一限定条件。而一个同时解读词语和节奏的模型会等待，让用户把话说完：“不能在下午3点到5点之间，因为我那时会很忙。”
一个智能体错误判断了来电者的意图，把会议安排在了错误的时间。另一个智能体则具备有效的轮次管理能力，确保避开指定的时间段。
ElevenAgents 是如何做到的
ElevenAgents 运行一套专有的轮次管理模型，它分析语调、节奏和词语上下文，而不是仅依赖静音计时器。当来电者打断时，用于停止智能体的信号在 200 毫秒内到达。
ElevenLabs 测得从请求到可听语音的中位延迟约为 150 毫秒，配合 ElevenAgents 上的 Eleven v4 Turbo.
该行为可通过以下方式配置： 对话流程:
设置
它控制什么
轮次积极度
积极模式会尽早响应。正常模式是平衡的默认选项。耐心模式等待更久，适合电话号码、地址和电子邮件。
推测性轮次
在确认来电者说完之前就启动语言模型回复。这会降低延迟，但也可能增加 LLM 成本。
打断
当每一个字都必须被听清时，例如法律免责声明和安全说明，请关闭它们。
忽略列表
诸如“right”这类词不应打断智能体。
跳过话轮工具
当来电者说“给我一分钟”时，让智能体保持安静。
话轮超时
在静默 1 至 30 秒后切换话轮。随意对话使用 5 至 10 秒，来电者需要时间思考时使用 10 至 30 秒。
软超时
当模型响应缓慢时，播放“Hhmmmm...yeah.”之类的填充语音。范围为 0.5 到 8 秒，建议使用 3 秒。
嘈杂环境检测
一种企业级设置，可检测背景人声并请来电者移到更安静的地方，每次对话最多提示一次。
工作流可以在通话过程中改变轮次积极度。你的客户端还会收到一个 vad_score 事件，即用户正在说话的概率，取值 0 到 1。
精心调校的轮次管理决定了来电者感受到的智能体是专注周到还是唐突生硬。如需进一步了解相关概念，请参阅我们的完整指南： 轮次管理.
语言模型：推理并生成回复
大语言模型（LLM）是推理层。它读取转写文本、指令以及到目前为止的对话，然后撰写回复或决定调用工具。
它的作用
脚本化语音机器人只能识别少数几个命令。LLM 则能理解以多种不同方式表述的请求，在多轮对话中保持上下文，并决定何时检索信息或转交人工。
为何重要
不同模型在推理深度、速度和成本上各有差异。对于实时语音对话而言，响应时间与回答质量同样重要，因此模型选择既是延迟决策，也是成本决策。
ElevenAgents 是如何实现的
ElevenAgents 为你提供一个统一接口，可访问来自 Google、OpenAI 和 Anthropic 的模型，以及由 ElevenLabs 托管的开放模型。你还可以通过指定端点并将凭据存储为密钥来接入自己的 LLM。ElevenLabs 按提供商公布的价格原样转嫁第三方 LLM 成本，不收取任何加价。
你可以为每个子智能体选择模型。 企业对话式智能体实战指南第 2 卷建议将更高性能的模型保留用于复杂推理，而对意图分类和常见问题解答等任务使用更便宜、低延迟的模型。
提供商会出现服务中断。LLM 级联机制可应对这些情况：如果主模型返回 API 错误、超时或发送空响应，ElevenAgents 会尝试备用序列。从主模型切换到备用的默认超时为 4 秒，可在 2 到 15 秒之间调整，并且系统会在可用模型之间至少进行 3 次尝试。
用作主模型的自定义 LLM 会至少重试 3 次，除非你自行定义备用顺序。为每项任务选择合适的模型，才能让智能体既快速又经济实惠。 智能体既快速又经济实惠。.
编排：在智能体与人工之间路由工作
智能体编排负责协调完成任务所涉及的提示词、子智能体、工具和人员。它决定通话中每个节点接下来会发生什么。
它的作用
一个智能体配一段长提示词，随着职责不断累积会变得难以管理。编排将工作拆分为多个阶段，每个阶段都有自己的指令、模型和工具，并在阶段之间转移调用方。
为何重要
更小的提示词更易于测试、运行成本也更低，因为每次交互加载的文本更少。拆分流程可以让便宜的模型处理分诊和常见问题解答，只在请求需要时才移交给更强的模型。
ElevenAgents 是如何实现的
ElevenAgents 中的工作流 是用于构建分支对话图的可视化构建器。
节点包括：
- 子智能体：更改或覆盖基础智能体，包括其提示词、LLM、语音、工具和知识库。
- 说：输出一条消息，可以是字面文本或 LLM 生成的语句。
- 调度工具：一个专门步骤，用于保证发起一次工具调用，并分别设置成功与失败路径。
- 更新状态：在流程经过时分配动态变量。
- 智能体转接：将通话交给另一个智能体。
- 转移到号码：通过电话系统将通话从 AI 智能体转接给人工。
- 结束通话：关闭对话。
节点之间的边带有自然语言条件，由 LLM 实时评估。一个支持流程可能从运行在快速模型上的路由子智能体开始，将账单问题发送给运行在更强模型上的账单子智能体，并在来电者要求转接人工时以“转移到号码”节点结束。上线后，分析中的“工作流”标签页会显示每个节点的进入次数、平均耗时、终止次数和边分布。
编排将单个智能体转变为一个你可以逐个节点进行设计、衡量和改进的系统。
工具与 MCP：让智能体采取行动
函数调用（也称为“工具调用”）让智能体能够向你已接入技术栈的外部软件请求执行操作。它把问答式界面转变为具备智能体能力的 AI 系统，使其能够完成工作并代表你与其他工具交互。它的作用以一位来电者要求把明天的预约改到周五为例。智能体检索预约记录，检查周五是否有空档，更新排程系统，并确认变更。每一步都是一次采取行动的工具调用。为何重要 工具调用让智能体向你已接入技术栈的外部软件请求执行操作。
它把问答式界面转变为具备智能体能力的 AI 系统，使其能够完成工作并代表你与其他工具交互。
它的作用
以一位来电者要求把明天的预约改到周五为例。智能体检索预约记录，检查周五是否有空档，更新排程系统，并确认变更。每一步都是一次采取行动的工具调用。
为何重要
工具是对话产生结果的环节。每个工具都需要清晰的输入和输出，智能体在告知调用方调用成功之前，需要先知道该调用是否确实成功。
ElevenAgents 是如何做到的
ElevenAgents 支持 客户端工具 这些工具在用户的应用中运行， Webhook 工具 这些工具调用外部 API，以及在 ElevenLabs 基础设施上的沙箱中运行自定义 JavaScript 的代码工具， MCP 工具以及内置系统工具。
系统工具包括结束通话、语言检测、智能体转接、转接到号码、跳过轮次、播放键盘按键音和语音信箱检测。你可以在工具运行期间添加环境音频，并控制来电者在执行过程中是否可以打断。
ElevenAgents 是如何做到的 模型上下文协议 （MCP）是一个开放标准，规定了应用程序如何向语言模型提供上下文和工具。ElevenAgents 通过 SSE 和可流式 HTTP 连接 MCP 服务器。工作区管理员需先选择启用，因为每个工作区默认禁用 MCP。随后你为每个服务器选择一种审批模式：始终询问、细粒度工具审批或无审批。
客户端事件（如 client_tool_call 和 mcp_tool_call）会报告工具活动，而 MCP 事件报告会呈现四种状态：加载中、等待审批、成功和失败。可靠的工具有助于智能体在现实世界中发挥作用，而清晰的审批规则则确保这种能力始终处于可控范围。知识与记忆：事实与来电者上下文检索增强生成（RAG）让智能体能够从你自己的内容中获取事实，例如内部事实数据库或更广泛的客户历史日志。记忆与个性化则为智能体提供有关来电者的上下文，使你的智能体能够提升个性化程度，并增强对你业务的实用性。 四种状态：加载中、等待审批、成功和失败。可靠的工具有助于智能体在现实世界中发挥作用，而清晰的审批规则则确保这种能力始终处于可控范围。
知识与记忆：事实与来电者上下文
检索增强生成（（RAG））为智能体提供来自你自己内容的事实，例如内部事实数据库或更广泛的客户历史日志。记忆与个性化则为智能体提供有关来电者的上下文，使你的智能体能够提升个性化程度，并增强对你业务的实用性。
它的作用
语言模型有训练截止时间，无法访问你的文档或记录。RAG 会针对每个查询搜索知识库，检索最相关的段落，并将其提供给模型，从而为模型补充生成有用回复所需的额外上下文。
个性化数据会告诉智能体来电者是谁，以及哪些内容与他们相关。
为何重要
将回复建立在已批准的内容之上可以保证答案准确。检索速度同样重要，因为它每增加一毫秒，就意味着你的客户要多等待一毫秒。个性化功能还能让来电者不必在不同通话中重复提供信息，因为你的坐席在每次新会话开始时就能拿到 CRM 记录。
ElevenAgents 是如何做到的
你将文档以文件（PDF、DOCX、TXT、MD、HTML 或 EPUB，每个最大 20 MB）、URL 或粘贴文本的形式添加到知识库。当文档提取的文本能放入提示词中时（最多约 300,000 个字符），该文档会使用完整上下文。更大的文档则使用 RAG。检索可以每轮运行或按需运行，默认使用模式为 Auto，即在 RAG 已启用且文档已建立索引时使用 RAG。
ElevenLabs 直接着手优化检索速度。其工程文章《我们如何降低 RAG 延迟》记录了在 ElevenLabs 已运营的基础设施上自托管模型后，RAG 延迟中位数从 326 毫秒降至 155 毫秒。
对于来电者上下文，ElevenAgents 使用以 {{ var_name }} 形式编写的动态变量，用于填充消息、系统提示词和工具。对于通过 Twilio、SIP 中继、 WhatsApp和短信发起的呼入，ElevenAgents 可以在对话开始前从你的服务器获取初始化数据。你的服务器通过 caller_id 查找来电者，并返回这些变量（例如来自你的 CRM），响应大小最多为 256 KB。通话结束后，通话后 webhook 会将评估结果和提取的数据传送到你的外部系统。
检索与个性化相结合，让智能体既能获得正确的事实，也能识别正确的来电者。
语音合成：为智能体赋予声音
文本转语音（TTS）将语言模型的回复转换为语音音频。这是呼叫者实际听到的环节。
它的作用
该模型将文本转换为音频，节奏自然且富有情感表达。在实时通话中，它会分块流式传输音频，因此播放会在完整回复生成之前就开始。
为何重要
延迟和交付速度都会影响来电者对通话的评价。对于实时工作而言，有两个数字至关重要：生成音频所需的时间，以及来电者听到第一个声音之前的时间。姓名、药品名称和技术术语也需要正确发音，否则来电者会对智能体失去信心。
Eleven v4 如何为语音层提供支持
Eleven v4 是 ElevenLabs 迄今最具情感表现力的文本转语音模型，基于全新架构构建。Eleven v4 Turbo 是面向实时使用的低延迟变体，例如智能体场景，并以 ElevenAgents 作为一个系统进行优化。
Eleven v4 Turbo
图
推理延迟中位数
约 100 毫秒
首次语音响应时间中位数
约 150 毫秒
语言
90+
ElevenLabs 于 2026 年 9 月通过 WebSocket 流式传输测量了延迟数据，并已剔除网络延迟。Eleven v4 在“ Artificial Analysis 提供商语音竞技场排行榜 在 2026 年 9 月*，并且在盲测中约有 75% 的听众更喜欢它**。
* Artificial Analysis，提供商语音竞技场排行榜，2026 年 9 月
** 基于与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Google Gemini 3.8 Flash TTS 的面对面用户偏好测试。
Eleven v4 支持内联 音频标签 ，例如用 [laughs] 表示表达方式，用 IPA 表示音素支持以处理发音。 音素 在医疗智能体中，这种发音控制涵盖医学术语。ElevenAgents 在此基础上增加了智能体级别的控制。多语音支持让单个智能体可以在多角色对话中切换语音。语速范围为 0.7 倍到 1.2 倍。每种额外语言都可以使用自己的语音。 发音词典 为特定单词采用 IPA 或 CMU 音标。
快速的首音和准确、富有表现力的声音让智能体感觉像是一位对话伙伴。
电话与传输：将智能体与来电者连接起来
传输层在来电者与智能体之间承载音频。根据你使用的电话渠道不同，你在此处纳入语音 AI 基础设施的集成也会有所不同。
它的作用
电话通话通过电话网络传输，而 SIP，而浏览器和应用内的对话则通过 WebRTC 或 WebSocket。网站小组件将浏览器连接封装在现成界面中。
为何重要
每个渠道有不同的设置需求和不同的音频限制，因此要尽早确定你的渠道。以电话为先的部署需要中继和号码管理。产品部署则需要 SDK。
ElevenAgents 是如何实现的
- SIP 中继：将你的电话系统直接连接到 ElevenLabs，支持呼入和呼出。它可与 Twilio、Vonage、Sinch、Infobip、Telnyx 及其他标准提供商配合使用。信令通过 TCP 在 5060 端口上运行，或通过 TLS 1.2 或更高版本在 5061 端口上运行，音频使用 G.711 或 G.722。每通电话至少预留 100 Kbps 带宽。并发通话上限取决于你的订阅层级，启用呼叫排队后，来电者会进入等待。
- 原生 Twilio 集成：导入已购买的 Twilio 号码，用于呼入和呼出通话。已验证的来电显示仅适用于呼出通话。
- 批量呼叫：上传 CSV 或 XLS 收件人列表，每个额外列都会成为一个动态变量。你可以立即运行或安排开始时间。批量呼叫使用工作区并发上限的 50% 或智能体并发上限的 70% 中较低者，从而为来电留出容量。
- WebRTC 与 WebSocket：SDK 默认使用 WebRTC 处理语音，使用 WebSocket 处理纯文本对话。私有智能体通过签名 URL 或在你服务器上创建的对话令牌进行身份验证。WebSocket 端点为 wss://api.elevenlabs.io/v1/convai/conversation。
- SDK：Python、JavaScript、React、React Native、Swift、Kotlin 和 Unity。
- 小组件：将 <elevenlabs-convai> 元素添加到页面。它支持纯语音、语音加文本以及聊天模式，智能体可以显示快速回复和轮播。
一个智能体即可服务电话、网页、WhatsApp、短信和电子邮件，让团队只需构建一次即可跨渠道部署。
护栏：让智能体保持在任务范围内
护栏是让智能体的行为保持在既定边界内的控制措施。它们与事实依据（grounding）协同工作，因为护栏限制的是智能体说什么，而并不保证其背后的事实正确。护栏与智能体对话并行运行，有助于让你的 AI 智能体对话保持合规和准确。
它的作用
ElevenAgents 在三个层面应用护栏。系统提示词设定允许和禁止的行为，最好放在 # Guardrails 标题下。用户输入验证会筛查消息中的提示注入。响应验证会在每次回复发送前进行检查。为什么重要：一个跑题或凭空编造政策的智能体会迅速侵蚀信任。客服智能体应先从经批准的来源检索退款政策再作答，而护栏会强制执行这一边界。ElevenAgents 如何实现：ElevenAgents 引入了 三个层面。系统提示词设定允许和禁止的行为，最好放在 # Guardrails 标题下。用户输入验证会筛查消息中的提示注入。响应验证会在每次回复发送前进行检查。
为什么重要
一个跑题或凭空编造政策的智能体会迅速侵蚀信任。 客服智能体 应先从经批准的来源检索退款政策再作答，而护栏会强制执行这一边界。
ElevenAgents 如何实现
ElevenAgents 于 2026 年 9 月推出了 Guardrails 2.0。借助这一新系统，下面简要展示有助于护栏有效运作的各项配置：
- 聚焦：让智能体保持在主题范围内，并与系统提示词保持一致。
- 操控：检测提示注入，并终止存在风险的对话。
- 内容：标记诸如色情露骨、暴力或政治敏感材料等类别。
- 自定义：用自然语言编写的业务规则，在每次响应时都会进行评估。
执行模式 决定延迟权衡。流式模式让回复在检查完成前就开始，因此在一个块结束通话之前，可以播放不到 500 毫秒的音频，ElevenLabs 推荐将其用于语音智能体。阻塞模式会等待验证，并增加大约 200 到 500 毫秒。
当自定义护栏触发时，触发操作要么结束通话，要么带着你编写的反馈最多重试响应三次。你的客户端可以监听 事件。采用分层护栏并选定延迟配置，可以让行为保持可预测，同时不会拖慢每一次回复。测试与实验：验证智能体是否有效。测试会在上线前检查智能体。实验会在上线后针对实时流量检查变更。功能说明：ElevenAgents 有三种智能体测试类型。模拟会针对模拟用户运行完整对话，并检查其是否达到既定结果，最多 50 轮（默认 5 轮）。下一回复测试仅评判智能体的下一轮回复。 事件。
采用分层护栏并选定延迟配置，可以让行为保持可预测，同时不会拖慢每一次回复。
测试与实验：验证智能体是否有效
测试会在上线前检查智能体。实验会在上线后针对实时流量检查变更。
它的作用
ElevenAgents 有三种 智能体测试类型模拟会针对模拟用户运行完整对话，并检查其是否达到既定结果，最多 50 轮（默认 5 轮）。下一回复测试仅根据你的标准评判智能体的下一条消息。工具调用测试会验证智能体是否使用正确的工具和正确的参数，匹配方式包括精确值、正则表达式或 LLM 评估。在模拟中，你可以不模拟任何工具、模拟所有工具，或只模拟选定的工具。
为何重要
单次运行只能说明智能体可以成功。反复运行测试才能看出它成功的频率。API 接受 2 到 20 的 repeat_count，结果会显示通过率。绿色表示 100%，琥珀色表示 80% 或更高，红色表示低于 80%。失败会按原因分组。提示词、模型、工作流和集成都可能改变行为，因此上线后仍需持续测试。
实验如何运作
实验 是基于智能体版本管理的 A/B 测试。你创建配置分支，更改一个变量，例如系统提示词、工作流、语音、工具、知识库或 LLM 设置，并将一部分实时流量路由到该变体。ElevenLabs 建议从 5% 到 10% 开始。
路由按对话 ID 确定性进行，因此给定用户会始终停留在同一分支上，且各百分比之和必须为 100%。 CARS24作为 ElevenLabs 的客户，按照报告所述，以 5%、10%、20%、50% 和 100% 逐步提升流量，并在每个阶段保持两天。
上线前测试与线上实验相结合，将变更转化为可衡量的改进。
可观测性：衡量生产环境中发生的情况
可观测性是指能够看到智能体做了什么、表现如何，以及在出现问题时是在哪里失败的。一个在测试中运行正常的智能体，面对真实来电者时可能会表现不同，因此完整的可观测性和可审计的记录保存是必不可少的。
它的作用
对话分析 为每次通话评分。成功评估会应用你为目标达成和质量定义的标准，数据收集则提取结构化字段，例如联系方式详情和问题类型。分析仪表板增加了通话量、时长、成本、错误率和延迟。进行中的通话会实时更新，当错误率激增时会触发警报。
为何重要
如果没有监控，一次糟糕的通话只是一则轶事。有了监控，你就能看出是哪个节点、工具或模型导致了问题。
KPI
它告诉你的信息
ElevenAgents 在何处呈现它
智能体响应延迟
来电者等待回复的时长
分析仪表板、中位数和百分位数
轮次切换延迟
智能体进行轮次切换的速度有多快
分析仪表板、p50、p90 和 p99
错误率
出现错误的对话占比
仪表板，按工具、LLM 和连接错误分类
成功率
各项标准的达成情况
评估标准，包括成功率、失败率和未知率
包含率与处理时间
无需人工介入即可解决的呼叫，以及通话时长
实验对比
每次解决的成本
每次已解决对话的成本
实验对比
选择对你设想的特定工作最有用的指标。支持客服人员主要关注解决率和升级率，而一个 外呼智能体 主要关注连接与完成。
规模、可靠性与人工转接
语音 AI 基础设施必须能够胜任从 5 个客户到 50 万个客户的对话规模。即便在高并发下运行，这些组件也需要保持稳定，并能在需要时升级转接给人工。
它的作用
规模意味着要支持跨语音识别、LLM 推理、语音合成、集成和电话通信的许多同时进行的对话。可靠性意味着这些依赖项中的每一个都有明确的故障处理路径。人工转接意味着有一条清晰转接到人工的路径。
虽然它们并非严格意义上属于语音 AI 基础设施的组件，但在实践中，它们都是构成一个优秀系统所不可或缺的部分。
为何重要
一个能处理十次测试呼叫的系统，在一万次呼叫时可能表现不同。一个会超时的预订工具，绝不能导致智能体确认一个从未发生的预订。要求转接人工的来电者必须能联系到人工，且上下文保持完整，通常通过 人工转接.
ElevenAgents 是如何做到的
并发限制取决于订阅层级，当达到限制时，呼叫排队会让来电者保持等待。LLM 级联可应对模型故障。转接到号码节点、转接到号码系统工具和坐席转接可覆盖人工交接，评估标准可以决定何时升级。静默时段按通常每分钟费率的 5% 计费。
ElevenLabs 报告了大规模生产环境的结果。ElevenAgents 每周支持超过 1000 万次对话。根据《构建企业级语音智能体》报告，Meesho 每天在 6 万多次呼叫中自动处理约 90% 的支持查询。在 捷克共和国根据《政府对话式智能体现状》报告，由 ElevenLabs 提供支持的智能体每天在全国福利热线上处理约 5,000 通电话，并独立解决 85% 的咨询。
从一开始就规划好负载、故障和人工转接，正是演示与部署之间的分水岭。
2026 年生产级语音 AI 基础设施应关注哪些要点
使用这份清单，对照你的需求评估任何语音 AI 平台。
- 语音识别：为你的语言、口音和音频质量提供准确的转写，包括姓名和标识符。
- 轮次管理：可配置的轮次结束行为、打断处理，以及可测量的打断响应时间。
- 模型选择：可为每个智能体或子智能体选择 LLM、自定义 LLM 选项，以及自动回退。
- 编排：多步骤工作流以及专用智能体之间的路由。
- 工具：webhooks、客户端工具、MCP 支持以及审批控制。
- 知识：你自己的文档，检索延迟可测量。
- 个性化：在说出第一个词之前即可获得来电者数据。
- 语音：首字延迟低，并可控制发音和表达。
- 渠道：电话、网页、移动端和消息传递，并提供 SDK 和 API。
- 护栏：可配置的行为限制，但存在已知的延迟成本。
- 测试：模拟对话、工具调用检查以及重复运行。
- 实验与分析：A/B 测试、百分位延迟和错误分类统计。
- 规模与交接：有文档记录的并发、排队以及升级到人工的机制。
像 ElevenAgents 这样的 AI 语音智能体系统在一个平台上为你提供上述所有组件。立即联系团队开始使用，或注册账户构建你自己的 AI 智能体系统。关于语音 AI 基础设施的常见问题寻找准确的语音识别、可配置的轮次管理、带故障回退的语言模型选择、工作流、工具、知识库、低延迟语音合成、电话和网页渠道、护栏、测试、分析，以及一条通往 AI 语音智能体 像 ElevenAgents 这样的系统在一个平台上为你提供上述所有组件。
立即联系团队开始使用，或注册账户构建你自己的 AI 智能体系统。 联系团队 或注册账户构建你自己的 AI 智能体系统。 注册 账户。
关于语音 AI 基础设施的常见问题
寻找准确的语音识别、可配置的轮次管理、带故障回退的语言模型选择、工作流、工具、知识库、低延迟语音合成、电话和网页渠道、护栏、测试、分析，以及一条通往人工的路径。使用上面的清单为任何平台评分。ElevenAgents 在一个平台中提供工作流、工具、知识库、护栏、测试、实验、分析和交接。
对话式 AI 是一种让软件理解并回答自然语言的技术。语音版本通过语音识别进行聆听，判断来电者何时说完以进行轮次管理，使用语言模型进行推理，通过工具和知识库执行操作，并用文本转语音进行回复。在 ElevenAgents 中，这一流程实时运行，Scribe v2 Realtime 的转写延迟约为 150 毫秒。
IVR 遵循固定的菜单和路由规则，因此来电者必须将自己的请求套入预定义的选项中。对话式 AI 智能体则能理解来电者用自己话语表达的开放式请求，在多轮对话中保持上下文，并通过预订系统、CRM 等已连接的工具完成任务。当请求需要人工处理时，它还能将通话转接给人工。
对话式 AI 是用于理解和回答文本或语音中自然语言的更广泛技术。语音智能体是一种通过语音音频进行对话的对话式 AI 系统，因此它增加了语音识别、轮次管理和语音合成。ElevenAgents 可将一个智能体部署到电话、网页、WhatsApp、短信和电子邮件渠道。
对话式 AI 侧重于对话。智能体式 AI 则决定要做什么，并通过工具采取行动以达成目标。现代语音智能体将两者结合：智能体与来电者交谈，同时还会查询可用性、更新记录或转接通话。在 ElevenAgents 中，Webhook 工具、客户端工具和 MCP 服务器提供这些操作。
传统聊天机器人将文本输入匹配到预设流程。对话式 AI 智能体则使用语言模型来理解各种不同的措辞、在多轮对话中保持上下文，并通过工具采取行动。语音智能体增加了语音识别、轮次管理和语音合成，因此同样的体验既能在文本中实现，也能在电话通话中实现。
插话是指来电者在 AI 智能体说话中途打断它的能力。智能体会停止说话、倾听，并对新的输入作出回应。在 ElevenAgents 中，当来电者真正打断时，用于停止智能体的信号会在 200 毫秒内到达。对于必须完整听清的内容（例如法律免责声明），你可以关闭插话功能。
语音智能体将语音活动检测与语言理解相结合，以判断一段停顿是否意味着一个轮次的结束。ElevenAgents 采用专有的轮次管理模型，分析语调、节奏和词语上下文。
将知识库与护栏机制结合使用。知识库将回答与您自己的内容绑定，而 ElevenAgents 护栏在三个层面检查行为：系统提示词、用户输入和每次响应。Focus 让智能体保持话题相关，Manipulation 检测提示词注入，Content 标记敏感类别，Custom 规则执行您的策略。护栏限制智能体所说的话，并不能替代准确的源内容。
ElevenAgents 通过转接到号码系统工具或工作流节点将通话转接给人工，并通过智能体转接将通话转接给其他智能体。评估标准可以决定何时升级。设计每次交接时应确保来电者无需重复细节，并在工作流中定义哪些信息随转接一同传递。
作者
增长营销
查看个人资料Jack Limebear 就职于增长团队，担任内容撰写者和策略师，负责博客和洞察页面。加入 ElevenLabs 之前，他花了十多年时间为各类组织主导内容战略，从快速成长的 SaaS 初创公司到《财富》500 强企业均有涉猎。他拥有剑桥大学英语文学硕士学位。
相关文章
什么是上下文窗口？每位 LLM 用户都应了解的知识
类别资源日期2026年9月18日
AI 语音智能体定价：企业使用需要多少成本
类别资源日期2026年11月4日
暖转接与冷转接：选择合适的通话方式
类别资源日期2026年10月30日对话式 AI 中的轮次管理是什么：自然流畅对话指南
类别资源日期2026年10月29日
以最高质量的 AI 音频进行创作
联系销售注册