AI 热点

蚂蚁技术研究院与西湖心辰发布并开源双向世界模型 Duo v1

VR陀螺更新于 11月19日 11:06

蚂蚁联合西湖心辰开源双向世界模型Duo v1,虚拟角色可自主决定何时开口

AI 导读

蚂蚁技术研究院与西湖心辰于11月17日发布并开源双向世界模型 Duo v1,使虚拟角色能持续感知输入并自主决定开口或倾听。模型采用 Intent 和 Realization 双模块架构,约每0.7秒进行一次交互决策,并将视听生成压缩至4步。在30组真实交互的180项检查中,Duo v1通过168项,总通过率为93.3%,内容响应度为73.3%。

推荐理由

AI 评分 60

Duo v1将交互决策与视听生成拆分协同,为虚拟角色从被动响应转向持续感知和主动交互提供了具体架构参考。

主题

标签

正文

11月17日,蚂蚁技术研究院联合杭州大模型公司西湖心辰发布并开源双向世界模型Duo v1。该模型提出Reciprocal World Model(RWM)新范式,将智能主体纳入世界模型内部,使虚拟角色能够持续感知用户输入,自主决定何时开口、何时倾听,并生成相应的声音和画面,实现双向音视频交互。

与传统侧重物理场景模拟和动态预测的世界模型不同,Duo v1试图让虚拟角色从被动执行指令转向主动参与交互。在官方展示场景中,虚拟人物运动后表示口渴,用户递出冰水后,角色能够接过水瓶并饮用。

技术方面,Duo v1采用Intent和Realization双模块架构。其中,Intent负责交互推理与决策,每约0.7秒判断一次开口或等待;Realization则将决策转化为对应的语音、表情和视频画面。两个模块通过统一时间轴协同运行,支持连续对话和中途打断。

为提升生成效率及连续性,研究团队采用三阶段训练方案,并通过双路展开蒸馏技术,将视听生成压缩至4步,缓解长时间生成过程中的画面退化与分布偏移问题。

性能方面,在30组真实交互、180项检查的人类评估中,Duo v1通过168项,总通过率达93.3%。其中,语言遵循性、语音可懂度及视觉身份稳定性均达到100%,但内容响应度仅为73.3%,复杂意图理解和长程一致性仍有待提升。

投稿/爆料:tougao@youxituoluo.com

稿件/商务合作: 林南(微信 19250561593)

加入行业交流群:林南(微信 19250561593)

数字科技产业资讯与服务平台

下载「陀螺科技」APP,获取前沿深度数字科技产业讯息

来源

VR陀螺