Meta 为 Muse 智能体上线实时语音与表情虚拟形象

Meta于2026年11月5日宣布，实时语音对话与表情丰富的虚拟形象正在美国地区的Muse应用中上线，覆盖移动端、网页端和Mac，为其个人AI智能体增添了语音与视觉界面。

此次发布紧随Meta于2026年9月23日举行的Connect 2026预览活动，该活动展示了长时间实时对话和Muse Realtime Avatar。早前的活动演示了这些概念；新公告则标志着它们向用户正式推出。右上角的电话图标可发起对话。

语音控制与持续任务

Muse Realtime Voice提供即时语音响应，并允许用户打断智能体。智能体可以在对话继续进行的同时在后台继续处理任务，使讨论与委派的工作得以同步推进。

示例主要围绕在未事先撰写精确提示词的情况下发展一个不完整的想法、根据目的地和几项偏好规划旅行，以及排练求职面试、演示或推介。其他示例涉及在散步或做饭时分配任务，由Muse在对话进行过程中处理工作。

用户可以将交互保持为纯语音模式，将虚拟形象置于对话旁边，或切换到全屏面对面视图。虚拟形象在倾听和说话时会做出反应，使用与语气相称的表情和手势。Meta表示有数百种声音可供选择，且选择可以更改。它用充满活力的纽约客风格和海盗风格来展示这一选择。

语音功能扩展了一个最初围绕消息传递和委派操作构建的智能体。Meta于2026年9月8日推出Muse，可通过Muse应用或WhatsApp进行交互。Muse可以发送电子邮件和预订旅行，在应用关闭后继续工作，并在出现变化或需要在购买等敏感操作前获得批准时返回。新功能为这一既有的任务与审批模式增添了语音和视觉存在感。

Meta AI Research的一份技术说明将Muse Realtime Voice和Muse Realtime Avatar描述为一个流式系统。语音模型生成同时承载内容和表达方式的语音token。音频解码器将这些token转换为语音，而虚拟形象模型消费同一数据流以生成视觉表演，从而保持语音、唇部动作和表情同步。

该虚拟形象是一个音频驱动的Diffusion Transformer，以该token流、参考媒体（如肖像或插图）以及近期视频潜变量的滚动窗口为条件。它生成短的因果视频块。当每个块完成时，其最新生成的潜变量为下一个块提供运动上下文，将外观和举止向前传递，同时限制计算量，使生成能够在整个对话过程中持续进行。

为使该过程可实时使用，Meta报告称，蒸馏将每块的生成从120次有引导的教师评估减少到两次无引导的学生评估。它称这是60倍的缩减，同时密切保持了教师质量。

研究团队报告称，输出为448×768的竖屏视频，帧率为每秒25帧，从用户发言结束到同步语音与视频响应的首字节延迟约为870毫秒。其优化使服务容量相对于两步BF16基线提升了八倍，并支持在单台GB200上运行12路并发实时视频生成会话。延迟测量针对的是对话响应性，而容量数据则涉及持续视频生成所带来的服务负载。

保障措施与计划中的设备

研究文章称，生成的虚拟形象视频包含持久、不可见的Meta Video Seal水印，且不会增加实时延迟。它还提醒说，其示例仅用于说明模型能力，并不都反映Muse应用中可用的虚拟形象。Muse面向18岁及以上用户。

Meta表示，语音对话也将很快登陆AI Glasses和Muse Charm。在Connect上，它将眼镜访问描述为免手操作，将Charm描述为一款专为语音交流及与Muse交互而设计的口袋大小设备。

此次发布使交互模式成为核心进展：语音、打断和后台任务执行现在都处于同一会话中，虚拟形象则增添了视觉响应。Meta能否将这一组合扩展到AI Glasses和Muse Charm是下一个悬而未决的问题；这些版本仍在计划中，而美国应用在移动端、网页端和Mac上的推广正在进行。