Meta 发布 Muse Realtime Voice 与 Muse Realtime Avatar 统一流式架构
Muse Realtime Voice and Muse Realtime Avatar form a unified streaming architecture connecting conversational intelligence, voice, and video embodiment via a sha
Meta 发布 Muse Realtime Voice 与 Muse Realtime Avatar，二者通过共享语音 token 流组成统一流式架构，前者生成编码内容与韵律的语音 token，后者消费同一流并生成流式视频。系统以固定长度历史作为后续分块的动作上下文，在任意对话长度下保持有界计算，同时生成同步的语音、唇动与表情。团队将带 3-way CFG、每段视频需 120 次评估的 40 步扩散教师模型蒸馏为无引导的 2 步因果学生模型，配合固定长度 KV cache 与 self-forcing，以少 60 倍的评估次数接近教师质量；在自家实时通话产品中与两个商用化身系统对比，Muse Realtime Avatar 在整体偏好上领先。
推荐理由
AI 评分 55
Meta 用共享语音 token 流把语音与视频化身串成一套流式架构，并给出蒸馏与评测细节，可看实时数字人如何兼顾同步与长时一致性。
主题
正文
当前显示原文，中文全文译文尚未就绪。
Muse Realtime Voice and Muse Realtime Avatar form a unified streaming architecture connecting conversational intelligence, voice, and video embodiment via a shared speech-token stream.
Muse Realtime Voice generates speech tokens encoding both content and prosody. Muse Realtime Avatar consumes this shared stream and generates streaming video.
By using a fixed-length history as motion context for subsequent chunks, the system maintains bounded computation across arbitrary conversation lengths while generating synchronized voice, lip motion, and expressions.