LiveKit Turn Detector v1.1 在误打断率相同的情况下,比 v1 提前 15–34% 检测到用户轮次结束。它同时推出了 v1.1-mini,这是一个可在 CPU 上运行的开放权重版本。
与 v1一样,v1.1 会监听用户轮次的音频,同时还会以文本形式读取智能体的上一条消息。v1.1-mini 则仅根据音频进行判断。这两个模型都改善了端点检测中两个棘手场景的表现:简短回答和非英语母语者的发言。
短轮次#本节链接
当智能体提出直接问题时,用户往往只用几个词作答,例如一个数字、一个名字,或简短的一声“嗯哼”。但在回答其他问题时,同样的词也可能只是一段长回答的开头:
-
智能体:“有几位客人?”
-
用户:“七位。”
-
智能体:“您的电话号码是多少?”
-
用户:“七……[停顿]”
为了区分这两种情况,v1.1 还会读取智能体的上一条消息。
非英语母语者#本节链接
非英语母语者经常会在句子中间停顿,以寻找合适的词。主要使用英语母语语音训练的模型可能会把这种停顿当作轮次结束,导致智能体过早插话。两个模型都额外使用了带有多种口音的非英语母语语音进行训练,因此会耐心等过这些停顿。
基准测试结果#本节链接
为了衡量这两个场景中的进展,我们正在向 eot-bench添加两个英语评估集:1,088 个简短用户轮次,以及 800 个非英语母语者的轮次。它们将与原有的 400 轮英语评估集和其他 13 种语言各最多 400 轮的评估集共同使用。借助生成下述结果的同一套测试框架,你可以用这些数据测试任何端点检测模型在这些场景中的表现。
延迟是指从用户停止说话到模型判定轮次结束之间的等待时间。误打断预算将智能体在用户尚未说完时插话的比例限制在 5% 或 10%。延迟越低越好。
英语#本节链接
误打断预算 5%
| 评估集 | v1.1 | v1 | v1.1-mini | v1-mini |
|---|---|---|---|---|
| 原始评估集,400 轮 | 462 毫秒 −15% | 543 毫秒 | 812 毫秒 −24% | 1,070 毫秒 |
| 短轮次,1,088 轮 | 1,096 毫秒 −23% | 1,427 毫秒 | 1,237 毫秒 −24% | 1,634 毫秒 |
| 非英语母语者,800 轮 | 700 毫秒 −19% | 867 毫秒 | 999 毫秒 −19% | 1,228 毫秒 |
| 全部 2,288 轮 | 810 毫秒 −19% | 996 毫秒 | 1,124 毫秒 −17% | 1,352 毫秒 |
百分比表示每个模型与其上一代模型相比的变化。
误打断预算 10%
| 评估集 | v1.1 | v1 | v1.1-mini | v1-mini |
|---|---|---|---|---|
| 原始评估集,400 轮 | 250 毫秒 −15% | 295 毫秒 | 504 毫秒 −28% | 698 毫秒 |
| 短轮次,1,088 轮 | 635 毫秒 −32% | 932 毫秒 | 893 毫秒 −19% | 1,100 毫秒 |
| 非英语母语者,800 轮 | 360 毫秒 −31% | 523 毫秒 | 676 毫秒 −24% | 884 毫秒 |
| 全部 2,288 轮 | 414 毫秒 −34% | 632 毫秒 | 738 毫秒 −20% | 922 毫秒 |
百分比表示每个模型与其上一代模型相比的变化。
多语言#本节链接
| 误打断预算 | v1.1 | v1 | v1.1-mini | v1-mini |
|---|---|---|---|---|
| ≤5% | 521 毫秒 −17% | 631 毫秒 | 715 毫秒 −18% | 867 毫秒 |
| ≤10% | 329 毫秒 −19% | 406 毫秒 | 492 毫秒 −22% | 629 毫秒 |
这是 13 种语言的平均值,每种语言最多包含 400 轮。百分比表示每个模型与其上一代模型相比的变化。
在相同的误打断预算下,与 v1 相比,v1.1 在英语上的延迟降低了 15–34%,在其他 13 种语言上的延迟降低了 17–19%。与 v1-mini 相比,v1.1-mini 在每个评估集上的延迟都降低了 17–28%。
该 eot-bench 排行榜 会分别对各评估集上的模型进行排名。在误打断率为 5% 和 10% 时,v1.1 在每个英语评估集中均排名第一。大多数端点检测模型并不支持全部其他 13 种语言,因此排行榜还提供了展示各语言结果的交互式热力图。在这两种误打断率下,v1.1 在所有语言中均具有最低延迟。
可用性#本节链接
LiveKit Turn Detector v1.1 可免费供 托管在 LiveKit Cloud 上的智能体使用,而自托管智能体可通过 LiveKit Inference使用它。如果你已经通过 LiveKit Inference 使用 LiveKit Turn Detector,无需更改代码即可获得 v1.1,此时模型仅根据音频进行判断。升级到 Agents 1.8.12(Python)或 1.10.0(Node.js),你的智能体还会发送自己的上一条消息和用户轮次时长,v1.1 会利用这些信息处理简短回答。
1from livekit.agents import AgentSession, TurnHandlingOptions, inference2 3session = AgentSession(4 turn_handling=TurnHandlingOptions(5 turn_detection=inference.TurnDetector(),6 ),7 # stt=..., llm=..., tts=...8)
v1.1-mini 可在 CPU 上运行,仅根据音频进行判断,并支持与 v1.1 相同的 14 种语言。它随 Agents SDK 从上述相同版本开始提供开放权重,并采用与 v1-mini 相同的 LiveKit Model License 。
开始使用#本节链接
你现在即可使用 v1.1:
有问题、基准测试结果或拉取请求?欢迎加入 LiveKit 社区.
AI 热点