我们最近推出了 LiveKit Cloud API,它让你的编码智能体能够读取语音智能体通话中的转录文本、日志、trace 和录音。
本文介绍三种使用它来改进语音智能体的方法,以及如何将发现的问题转化为修复方案。
开始之前#链接到本节
你需要:
- 一个在 LiveKit Cloud 上运行、已开启 Agent Observability 并接过通话的语音智能体。
- 项目上的 admin 角色。
- LiveKit CLI 2.19.4 或更高版本。
更新 CLI、登录,并安装 LiveKit skills:
1brew update && brew upgrade livekit-cli # needs 2.19.4 or later2lk cloud auth --user-auth # sign in through your browser3lk skills install --global # teach your coding agent the new commands
使用 Linux 或 Windows?请参阅 CLI 文档.
然后在语音智能体的代码仓库中打开你的编码智能体。如果你同时处理多个项目,请在提示词中指明项目名称。否则 CLI 会使用你的默认项目。
1. 修复影响通话最多的问题#链接到本节

试着把类似下面的内容粘贴到你的编码智能体中:
1Pull my agent's sessions from the last 7 days with lk analytics. Read the transcripts,2and check logs, traces, and metrics where they help. Group the problems you find into3clusters, like slow turns, tool errors, interruptions, misunderstandings, knowledge4gaps, and requests for a human. Give me a table with each issue, how many calls it5affected, an example session ID, the likely cause, and a suggested fix, ranked by6impact. Don't change any code yet.
你会得到类似这样的结果:
| 问题 | 通话数 | 可能原因 | 建议修复 |
|---|---|---|---|
| 查询订单状态时出现静默 | 412 通中的 61 通 | lookup_order 平均耗时 4 秒 | 在工具运行期间说一句简短的填充语 |
| 确认号码时来电者插话 | 412 通中的 38 通 | 智能体一口气读出 12 位数字 | 分块读出数字并逐块确认 |
| 来电者在退货问题后要求转人工 | 412 通中的 27 通 | 智能体的指令中没有退货政策 | 添加该政策和一个退货工具 |
我们在 LiveKit 自家的文档助手上运行了这个提示词。我们的编码智能体读取了过去一周的 4,321 条会话,经过约 30 分钟的工作后返回了 8 个排序问题。它发现 28% 的会话是自动化流量,慢轮次来自链式工具调用,以及人们询问了哪些文档主题却得不到答案。
提示如果你的智能体接听大量通话,先从样本开始,比如最近 100 条会话或最近 24 小时。你的编码智能体会读取它拉取的每一份转录文本,所以较小的数据集更快、消耗的 token 更少。最大的问题在样本中同样会显现出来。
2. 深入排查一次糟糕的通话#链接到本节

有时你已经知道哪次通话出了问题。从 LiveKit Cloud 的 Sessions 页面获取它的 session ID,或者让你的编码智能体用 lk analytics session list找到它。然后问:
1Session SESSION_ID went wrong. Pull the transcript, logs, and traces, and figure out2why. Show me what happened turn by turn and what you'd change. Don't change any3code yet.
你的编码智能体会逐轮对齐来电者所说的话和你的智能体所做的操作。由于每一轮都带有自己的时序信息,它能告诉你长时间停顿是来自模型、语音还是工具。
3. 找到下一步要构建什么#链接到本节

你的转录文本不仅显示哪里出了问题,还显示来电者想要什么而你的智能体目前还做不到。问:
1Look at my agent's calls from the last 30 days. What are callers asking for that my2agent can't handle today? Group the requests, count them, and show me which ones3end in a transfer to a human or a hang-up. For the top three, tell me what we'd4need to build.
这就是你找到下一个要构建的工具、智能体缺失的知识,或者更多来电者所使用的语言的方法。这也是快速减少以“我能和真人说话吗?”结尾的通话数量的方法。
然后修复它,并证明修复有效#链接到本节
一旦你选定了要修复的内容,让你的编码智能体在改动代码之前先把真实通话转成测试:
1Turn one of those calls into a simulation scenario and use lk agent debugger to2confirm it fails. Then fix the code and rerun the scenario until it passes. When it3does, run the full scenario set and show me the diff and the results.
你的编码智能体会根据真实对话编写场景,在本地针对你的智能体重放,进行修改,并在任何内容发布之前向你展示 diff 和结果。该场景会留在你的仓库中,所以如果之后的改动破坏了同一处,你会在它进入生产环境之前就知道。
当你对修复满意时,让它部署。然后下周再次运行第一个提示词,看看有什么变化。
在你的智能体上试试#链接到本节
完成设置,打开你的编码智能体,粘贴第一个提示词。修复列表上的首要问题,用场景证明修复有效,然后发布。
AI 热点