搜索“多模态”

8 到 2019 年，OpenAI 用 Dactyl 在仿真环境里训练机械手，最后让它单手复原魔方：普通打乱的成功率约 60%，需要 26 次旋转的最难情形降到约 20%。路线被验证了，真机数据的成本却降不下来，2020 年 10 月团队解散，资源转向大语言模型。之后它换了一种参与方式：2023 年领投挪威公司 1X，2024 年为 Figure AI 提供多模态模型，2025 年 2 月 Figure 创始人宣布终止合作，转做端到端自研。 今年 6 月 1 日，奥特曼宣布成立 OpenAI Robotics。到 10 月 19 日，官网挂出的机器人岗位有 19 个，集中在运动控制、状态估计、执行器控制，没有一个指向外观。 自己造整机，意味着放弃另一条路径，即把大脑卖给所有本体厂商，做具身智能的操作系统供应商。选择自建身体，背后的判断是大脑无法脱离身体独立进化。没有真机的力反馈和失败样本，模型的泛化能力会停在仿真环境里。 它还没有公布自研整机的形态，外观、运行视频和产品定义都未公开。 身体已经是标准件 伺服电机、谐波减速器、灵巧手、传感器，在深圳南山“机器人谷”沿线的供应链里，大约八成

匹配字段正文

先手动写一些奖励函数。但手动写没有出路，必须用模型自己开发奖励函数，这就变成了Eureka。 陈茜：你后来去了谷歌，做了GVL（生成式价值学习），好像又回到VIP（价值隐式预训练）的延续工作上？ Jason：可以这么说。我博士期间的大部分工作，是解决机器人领域的奖励函数，以及其他标注从哪里来的问题。 加入谷歌时，正好Gemini 1.5刚出来。Gemini的多模态能力一直不错，我想能不能用在机器人上，就做了一个算法，用VLM（视觉语言模型）直接做上下文学习，把奖励函数写出来。当时效果很好，我也很惊讶，为什么这东西会奏效？它应该不奏效，这些肯定不在预训练里。 现在也有很多创业公司在做GVL（生成式价值学习）这样的事情，用VLM（视觉语言模型）标注奖励函数、做子任务标注。说实话，GVL（生成式价值学习）可能比Eureka和VIP（价值隐式预训练）都更商业化一些。 陈茜：今年出现了很多数据公司，很大的一个落地方向就是把数据卖给机器人公司，最近很赚钱。 Jason：对。标注是一个大问题，用VLM（视觉语言模型）标注挺好。 陈茜：你是在谷歌之后想创业的。为什么没有加入实习过的三家公司，反而选择创

匹配字段正文

的，基本上只有抖音等字节系App了。 豆包亟需一个标杆案例。 在这一关键时间点，京东没有离席而去，以超然的姿态送上了一记非常关键的助攻。 与其他App相比，京东作为电商大厂的示范意义强得多。倘若豆包经营得当，双方都有机会从中获得巨大回报。 此情此景，与当年微信支付“九宫格”颇为类似：京东、美团、拼多多等公司纷纷入驻后，这块风水宝地的战略价值才被真正认知。 移动互联网的核心是“流量”。谁掌握了流量，谁就能呼风唤雨；流量分配机制，可以衍生出巨大的商业价值。 但AI的核心是“交付”，比如Chatbot产出的文档，多模态模型产出的图片、视频，Coding Agent产出的代码，交易Agent产出的交易闭环，等等。 AI交付的质量、速度和成本，决定了C端和B端用户的付费。那么，AI平台的基本目标就成了尽可能推动“交付”；流量获取和分发，需要服务于这一目标。 接入豆包手机助手前，京东已经在寻求接入更多Agent。 今年6、7月份，京东先后被曝出接入微信Agent和元宝。在这两个腾讯系AI C端场景中，用户都可以在Agent内以对话方式在京东购物。 如今，京东不发一言，又在豆包手机助手留了一个席位。

匹配字段正文

需要7998元，已接近一台顶配安卓直板旗舰的价格；还有外屏损坏3198元，电池1898元，是iPhone史上最贵的电池。 从过去的经验，屏幕是折叠屏手机的易损件，所以苹果的维修定价会直接影响消费者换机决策和机器二手残值，进而影响销量表现。 更重要的是，面对未来，折叠屏手机市场下一阶段的胜负正愈发脱离硬件竞争、聚焦大屏生态。 TrendForce提到，生成式和多模态AI进入手机之后，使用场景会从单一应用操作延伸到实时翻译、内容生成与跨应用协作，展开后更大的显示空间可以同时呈现AI生成内容、原始资料和其他应用。苹果把Apple Intelligence与Siri接进了iPhone Duo，大屏能否承载这些体验，决定它能不能脱离硬件差异化这条路。 10月16日，库克在上海探访米哈游，工程师演示了在iPhone Duo上运行的游戏。苹果亲自上门找开发商做适配，说明它自己也清楚，屏幕尺寸只解决了形态问题，应用生态跟上才算站稳。 笔者认为这件事的信号意义大于公关意义，苹果过去很少为一款产品的第三方适配如此高调站台，意味着苹果方面想要快速推送折叠屏生态成熟的决心。 产能短板、竞争环境、大屏生态等种种

匹配字段正文

专门团队押注长期安全，马斯克创办 xAI，谷歌整合 DeepMind 推出 Gemini。国内则开启 “百模大战”，百度、阿里等大厂的大模型集中亮相，智谱、月之暗面、深度求索等创业公司也开启密集融资。2024 年是 Anthropic 的爆发年，在各个方向都拿出了代表作。3 月，Claude 3 系列一次性推出三款产品，覆盖旗舰、均衡、轻量三大场景，并补齐了多模态能力。其中旗舰模型 Opus 默认支持 100K 的处理长度，在长文本评测中表现出极高的准确率，首次反超 GPT-4，将长上下文技术转化为扎实的产品竞争力。随后在 6 月登场的 Claude 3.5 Sonnet 模型能力迎来大幅提升，在多项核心指标上追平 GPT-4o；到 10 月推出升级版时，该模型在代码评测集 SWE-bench Verified 上超过了当时所有闭源竞争对手，让 Anthropic 在软件工程与智能体开发市场中取得了明显的竞争优势。真正让 Anthropic 拉开身位的，是 2024 年 5 月掀起的那场可解释性热潮。2021年，“可解释性” 和 “工具使用强化学习” 还听起来都过于学院派，远不如堆参数

匹配字段正文

台前的产品，这份尝试值得肯定。但它需要跨过的门槛一个没少：生态授权、完成度以及留存率。首销数字只是第一道关，真正的答案，要等微信、支付宝们的风控动作，等第三方实测的跨App执行率，也等90天后第一批用户的周活。 不甘做云侧卖水人：模型公司的终端野心 阶跃星辰早期被列入“AI六小虎”，但成立头一年几乎隐身。到2024年起才打破沉寂，连续发布一系列模型，才确立“多模态卷王”的技术地位。 尽管有了清晰的技术标签，但C端应用始终未成爆款，前有Kimi出圈，后有DeepSeek和大厂阻击，阶跃C端线基本宣告失败，错失了百模大战的市场声量与品牌认知黄金窗口期，也影响了后续的融资和上市节奏。 直到今年1月，印奇出任阶跃星辰董事长，负责战略节奏和技术方向。这位“双料董事长”，带来的是旷视科技两度冲击上市的经验、千里科技“AI+汽车”的产业资源，以及一套更强烈的资本市场视角。 按照印奇的设想，阶跃既不靠卖硬件赚钱，也不靠应用预装和广告分成。他真正想要的，是用户把足够多的日常任务交给Amoo。任务越多，模型调用和服务分成越多，阶跃才可能越过硬件利润，建立持续收入。 说白了，他不甘心只做云端的卖水人，也不满

匹配字段正文

撞发生的时间，并利用预设的物理参数计算弹跳轨迹。但面对木桌、玻璃或地毯等不同表面，系统并不一定能够自动判断它们的弹性、摩擦等物理属性，从而生成符合现实规律的交互效果。 这种局限也让虚实融合在很大程度上依赖开发者对场景的预先设计。虚拟物体可以按照设定的规则与现实空间互动，但要面对千差万别的真实环境，自动理解物体属性并生成合理的物理反馈，仍然有很长的路要走。随着多模态AI向三维空间推理和物理理解延伸，这一问题开始出现新的解决思路。 二、Google让AI重建物理世界，虚实融合迎来新变量 近年来，AI与XR的结合已经从传统的语音问答，逐渐向结合现实环境的智能交互发展。 早在2024年，Google Research提出XR-Objects研究原型，结合物体识别与多模态大模型，让用户能够直接围绕现实物体获取信息或生成虚拟内容。今年1月，Meta进一步推出MR语言学习应用Spatial Lingo，通过Quest识别并定位现实物体，再利用Llama模型生成对应的语言学习内容。 Meta Spatial Lingo技术架构 图源：Meta Developers Google最新发布的Gemini

匹配字段正文

上运行，面对暴雨、冰雹、鬼探头、逆行电动车以及几乎无法穷举的长尾事件；同时还要满足低延时、高可靠与故障安全。更重要的是，它已经做到大规模终端部署，并在真实环境里持续产生数据。 “今天不少工业机器人还停留在单工厂、小范围试点；割草、扫雪、泳池清洁等产品，也远没有汽车那样的终端规模和环境复杂度。所以，自动驾驶留给这一轮创业的，不只是几套算法，而是一整套产业能力：多模态感知、真实数据闭环、模型训练、端侧部署、软硬件协同、安全冗余，以及与大客户长期交付的经验。把这些能力平移到工业巡检、矿山无人化或物流配送，很多时候确实像站在巨人的肩膀上。” 此外，在投中网此前发布的《首发｜智驾“老炮儿”刘念邱创业，首轮拿下近亿美元》一文中，费莫一科技创始人刘念邱也提到了关键的一点。 在两年前的那波具身创业热潮中，由于供应链的供给并不完备，要想在那个节点做具身，需投入大量的精力从零部件基础造起。而如今，情况已大不相同——市面上已有大量专为机器人优化设计的电机和减速机，本体制造难度被大幅拉低，与此同时，AI基础设施的供给也远比两年前充裕。 “这意味着，我们无需再花一两年去‘造轮子’，而是从第一天起，就能专注思考产

匹配字段正文

Use 领域本身也向前发展了。我认为我们使用了更多技术。现在 Computer Use 经常会写代码。所以如果你在 Codex 里实际查看并手动展开工具调用，你可以看到它不只是一次做一个动作。它实际上在写 JavaScript 代码并执行，由计算机执行，有时一次执行多个动作，这大大加快了速度，也是很强的能力。我们使用了更多 accessibility，算是多模态接口。所以，模型可能会用截图，可能会用 accessibility，可能会用 Playwright。它可以根据手头的任务使用很多不同的机制。然后，是的，模型的加速一直，一直非常惊人。所以，是的，今天有什么不同？我认为我们一直在让计算机变得更好，所以我认为仅仅一天的差异，可能比比如过去一个月或过去两个月的影响要小一些。但是，是的，我认为 Dot 中的 Computer Use 非常令人兴奋，还有我们推出的新模型。 Vibhu [00:08:03]：在主题演讲中，Tejal 提到 Computer Use 的速度提升了 7 倍，在几项基准测试上表现好得多。你们是怎么考虑衡量它的？Computer Use 就是那种，正如你所说，你知

匹配字段正文

似的事情。 Meta自己也在加码，9月29日推出小企业版Muse for Small Business，接入Asana、Zoom、Slack等办公软件。按Meta的说法，约三分之一的早期用户已经用Muse连接了某种业务账号，个人Agent正在自己长进工作场景。 AidenInTech发现，Muse可以胜任短程、浅层的任务，一旦任务链条加深，失败率便明显上升。多模态能力也偏弱，生成的报告和文档质量较为基础。跨系统的复杂任务同样是短板，还有用户反映，涉及教育、医疗、交通等多个系统的协同任务，Muse频繁失败。 更大的阻力来自外部平台。9月20日起，亚马逊开始阻止Muse在其平台完成购物，理由是未经授权的AI智能体持续访问违反使用条例。也就是说，Muse目前没法替用户在亚马逊买东西。 一是个人AI智能体存在大量的真实需求，250万下载、64万日活，是用户自己投的票。二是超级App的分发能力，决定了Agent产品早期获客成本的下限，Apptopia显示，95%的Muse用户同时是Facebook用户，63%同时使用Instagram，Meta几乎没有为获客额外花钱。 02.谁离中国版Muse更

匹配字段正文

型，把所有这些东西都包含进去，还是把它们拆分开来，进一步拆分？我想，一种说法是，OpenAI 当时正朝着全能模型的方向发展，对吧？4o 就是其中之一。然后有一小段时间，总是有，比如，有一条主分支——这是聊天调优模型，这是编码调优模型。 Diogo Almeida [01:50:35]：那些是完全不同的东西。那些是极其不同的概念。我会，比如，稍微拆解一下。所以多模态有点不同 Diogo Almeida [01:50:44]：因为有时候其他模态有帮助，有时候它们有害。 Swyx [01:50:47]：是的。 Diogo Almeida [01:50:48]：比如，人们在移动。他们似乎正在远离语音，语音不同于音频，因为它似乎不能很好地泛化到其他东西上。 Diogo Almeida [01:50:57]：这个问题可能会被解决。我是这一切的粉丝，但这些是，比如，经验性的、真实的问题。比如，缩放定律并不是说只要往里砸钱它就会变好。缩放定律实际关心的是：一个东西到底有多好？比如，存在一些情况，无论你怎么扩展规模，它可能都不够好。所以，Y——比如，据我理解，计算机使用目前还没有被解决。比如，我希望我们

匹配字段正文