借助 LiveKit Agents,开发者可以构建能够实时聆听、响应并执行操作的语音及多模态 AI 智能体。通过 Recall.ai,这些智能体还可以加入 Zoom、Google Meet 和 Microsoft Teams 会议。
Recall.ai 负责处理会议连接,因此你可以在 LiveKit 上运行智能体,而无须为每个会议平台分别构建和维护集成。
Recall.ai 团队制作了一个 示例应用 来展示其工作方式。该应用使用带有 Runway 虚拟形象的 LiveKit 智能体加入 Google Meet,回答问题、共享网页、发送聊天消息,并响应参会者的命令。
我们将通过这个示例逐步讲解集成过程,并展示 LiveKit 的函数工具如何通过 Recall.ai 的 API 与会议交互。
该演示使用 Google Meet,但此集成也支持 Zoom 和 Microsoft Teams。
如何将 LiveKit 智能体派往你的会议本节链接
Recall.ai 加入会议,并将会议音频和智能体的媒体连接到 LiveKit 房间。LiveKit 负责处理对话,包括语音处理、模型推理和工具调用。
该示例包含两个进程:一个运行智能体的 LiveKit 工作进程,以及一个用于创建 Recall.ai 机器人的小型 Python 启动器。
Recall.ai 的 Output Media API 支持将网页中的流媒体传输到会议中。借助 LiveKit 集成,机器人可以直接从 LiveKit 接收媒体,而无须通过网页渲染智能体的摄像头画面。
运行示例之前,你需要在 Recall.ai 工作区的 Agents → LiveKit 下启用 LiveKit 集成,并使用你的 LiveKit 项目凭据进行配置。
将 LiveKit 智能体连接到会议本节链接
启动器接收一个 Google Meet URL,并使用以下配置创建 Recall.ai 机器人,配置来自 app/recall_client.py:
1{2 "meeting_url": meeting_url,3 "bot_name": BOT_NAME,4 "variant": {"google_meet": "web_4_core"},5 "output_media": {6 "camera": {7 "kind": "livekit",8 "config": {"agent_name": agent_name}9 }10 },11}
这里有两个重要字段:
output_media.camera.kind被设置为livekit, 这会告诉 Recall.ai 使用 LiveKit 集成来提供机器人的摄像头画面。agent_name会告诉 Recall.ai 应由哪个已注册的 LiveKit 智能体处理该会话。
在 LiveKit 端,工作进程使用同一个智能体名称进行注册:
1@server.rtc_session(2 agent_name=require_env("LIVEKIT_AGENT_NAME")3)4async def entrypoint(ctx: agents.JobContext) -> None:
启动器和工作进程都会读取 LIVEKIT_AGENT_NAME 环境中的值。它们还需要使用 Recall.ai 中配置的同一个 LiveKit 项目。
机器人连接时,Recall.ai 会在 LiveKit 作业元数据中加入机器人 ID 和区域 API URL。当智能体需要在会议中执行某项操作时,会使用这些信息向 Recall.ai 发送请求。
启动器的 URL 验证和机器人配置目前是针对 Google Meet 编写的。底层集成也支持 Zoom 和 Microsoft Teams,不过启动器需要进行一些修改才能处理这些平台。
给智能体安排任务本节链接
智能体能够加入会议后,下一步就是让它与参会者互动。
LiveKit 的函数工具允许智能体响应请求调用 Python 函数。在此演示中,其中一些函数会调用 Recall.ai 的 API,以共享网页、发布聊天消息和控制机器人。
例如,会议中的某个人可以说:
Assistant,请共享 https://example.com。
智能体会调用一个工具,向 Recall.ai 发送屏幕共享请求:
1async def start_screenshare(self, bot_id: str, url: str) -> None:2 await self._request(3 "POST",4 self._bot_path(bot_id, "output_media"),5 "starting the screen share",6 {7 "screenshare": {8 "kind": "webpage",9 "config": {"url": url}10 }11 },12 )
你可能会注意到,机器人的摄像头使用 livekit, 但其屏幕共享使用 webpage.
这是有意为之。LiveKit 提供智能体的语音和虚拟形象,而 Recall.ai 则渲染正在共享的网页。使用 LiveKit 直接集成并不会妨碍机器人针对其他内容使用基于网页的 Output Media。

该演示还会记录最近一次共享的 URL。如果有人说:
Assistant,请在聊天中发送那个链接。
智能体无需让对方重复链接即可发布该 URL。
其他工具允许参会者停止共享、将智能体静音或取消静音,以及让它离开会议。
由于模型请求的操作会影响真实会议,Python 函数还需要检查收到的操作请求。例如,屏幕共享工具只接受公开的 HTTPS URL。
当 Recall.ai 接受开始屏幕共享的请求时,该工具不会告诉智能体页面已经可见。它只会报告请求已发出,因为会议可能仍在处理该请求。
确保智能体知道何时应该回应本节链接
在会议中,并非每个问题都是问智能体的。如果它对听到的一切都作出回应,最终可能会打断其他参会者。
Recall.ai 演示采用了一条简单规则:参会者需要用“Assistant”或“livekit demo”来称呼智能体。
该示例会检查已完成的语音转录中是否包含这些短语,然后才会将请求传递给智能体,或允许它打断当前正在进行的回答。
它还将静音和忽略请求视为两种不同的状态。
静音会阻止智能体说话,但它仍然可以使用工具。有人可以在演示期间将智能体静音,并让它在聊天中发布链接。
忽略请求会阻止智能体回应或执行操作,直到有参会者明确要求它重新开始聆听。恢复聆听后,如果智能体此前处于静音状态,它仍会保持静音。
这些控制是该演示特有的。其他应用可能需要让智能体更积极地参与,或者只响应有限的一组命令。
运行演示本节链接
现在我们已经介绍了该集成的工作原理,接下来将开始测试示例应用。完整代码位于 Recall.ai LiveKit 演示代码库.
你需要 Python 3.12 和 uv,以及:
- 一个已启用 LiveKit 集成并拥有 API 密钥的 Recall.ai 工作区
- 一个可以使用 LiveKit Inference 的 LiveKit Cloud 项目
- 一个拥有 Characters 访问权限和角色预设的 Runway API 密钥
- 一个用于测试的 Google Meet 会议
克隆代码库并安装依赖项:
1git clone https://github.com/recallai/agent-demo-livekit.git2cd agent-demo-livekit3uv sync --locked4cp .env.example .env
将你的凭据和模型设置添加到 .env。LiveKit 项目凭据应与 Recall.ai 工作区中配置的凭据一致。
启动 LiveKit worker:
1uv run --locked python -m app.agent dev
worker 注册完成后,打开另一个终端并启动 launcher:
1uv run --locked uvicorn app.web:app --host 127.0.0.1 --port 8000
打开 http://127.0.0.1:8000,输入一个 Google Meet URL,然后点击 Send agent。
机器人加入会议且 avatar 连接后,你可以尝试:
- “Assistant,二加二等于多少?”
- “Assistant,共享 https://example.com。”
- “Assistant,在聊天中发送该链接。”
- “Assistant,将自己静音,并在聊天中发布‘Hello from the demo’。”
- “Assistant,取消静音。”
- “Assistant,离开会议。”
该 launcher 专为本地测试而构建,不包含应用身份验证,因此请勿将其公开。智能体也无法读取其共享网页中的内容或与之交互。
扩展演示#本节链接
该演示使用了一小组会议操作,但你可以沿用相同模式,将其扩展到其他用例。智能体可以查找文档并在通话期间共享、在聊天中发布资源,或协助主持讨论。
LiveKit 智能体仍负责对话和工具逻辑。Recall.ai 负责让它加入 Zoom、Google Meet 或 Microsoft Teams,并提供它与会议交互所需的 API。
查看 示例代码库 ,亲自试用,或阅读 LiveKit Agents 文档 和 Recall.ai Output Media 文档 ,了解更多详情。
AI 热点