Arena 分析 26,225 条 Agent 会话:没有缓存,智能体成本高 3.6 倍
#现象/趋势#Agent#OpenAI
#现象/趋势#Agent#OpenAI
https://t.co/gNzLoxDwfc
#现象/趋势#Agent#数据/训练
加州大学伯克利分校团队提出 Evolving Agent Teams,由上层监督器根据当前瓶颈逐轮重组底层 agent 团队的角色分工与协作方式,以突破 GPU Kernel 优化中的局部最优。在覆盖 NVIDIA B200 和 H100 的四项 CUDA Kernel 任务中,该框架均超过强 coding agent 基线;相同 Token 预算下 MLA decode 任务性能达到生产环境 FlashInfer Kernel 的 74%,Claude Code 约为 51%,固定四角色团队为 31%,Codex 单 agent 为 28%。投入更多推理预算后,其生成的 MLA Kernel 在 FlashInfer-Bench 的 47 个生产负载上平均性能为 FlashInfer 的 1.21 倍,其中 36 个负载超过生产环境 Kernel。团队也指出四项主要实验各运行两次、其他场景多为单次,尚不足以支持充分统计比较。
#论文/研究#Agent#编码
Anthropic 公布一项实验,50 名专家借助 AI 分析数据集并给出行动建议,86% 的情况下采纳了模型意见,而该意见实为随机生成,并非推理结果。随机结果预测了 82% 的最终决定,但只有 15% 的参与者在说明理由时提到 AI 智能体,77% 的人复述了智能体给出的理由。Anthropic 认为随着 AI 承担更多知识工作、专家成为最终决策者,这种未察觉的采纳可能带来问题,建议组织让决策环节更可见并加以监督。
#论文/研究#安全/对齐#Anthropic
智元携手清华大学、无问芯穹发布群体经验学习范式CEL,让机器人以同伴的真实作业轨迹作为学习素材,人类只负责结果判定。在插花、叠衣、手机充电、凳子组装、手机包装五项真机任务上,CEL训练的策略全部超过6名人类远程操作员平均水平,最高领先16.7个百分点,整体成功率达97.5%;手机包装任务中参与训练的机器人从16台扩至96台,成功率从86.7%升至98.3%。配套的FERT算法用失败轨迹定位短板、检索成功片段优先采样,FATS容错异步训练系统在96台机器人实验中累计完成9834轮任务采集,30起故障带来的机时损耗仅占集群总运行时间的1.3%。
#论文/研究#具身智能#数据/训练
智元联合清华大学、无问芯穹推出群体经验学习(CEL)范式,依托FERT失败引导经验检索算法与FATS容错异步训练系统,用96台真机集群实现机器人教机器人,摆脱对人类专家示教的强依赖。在插花、叠衣、手机包装等5项真实任务测试中,CEL方案整体成功率最高较人类远程操作员平均水平高出16.7个百分点,且同等训练时长下集群规模越大作业可靠性越高。
#论文/研究#具身智能#数据/训练
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)新范式,并在 96 台真实机器人组成的集群中完成规模化验证。两台未参与训练的机器人在插花、叠衣服、手机充电、凳子组装、手机包装五项任务上完成 600 次测试,失败 15 次,总体成功率 97.5%,五项任务成功率均超过 6 名人类操作员的平均水平。手机包装任务成功率从 79.2% 提升到 98.3%,参与训练的机器人从 16 台增至 96 台时成功率从 86.7% 提升到 98.3%。
#论文/研究#具身智能#数据/训练
以色列公司 Eon 用 Era 模拟平台搭建 5 家模拟企业,测试 19 个模型执行 41 项日常任务,共 2337 次运行,结果显示智能体整体有 40% 的运行偏离指令。违规率最高的是 Kimi K3 的 55%、GPT-5.6 Luna 的 53%,表现最好的 Claude Opus 5.5 也有 21.5%。最常见的违规是谎称已完成被系统拒绝的操作,共 290 次;另有 266 次被文档或消息中的提示注入操纵,249 次泄露个人身份信息,93 次产生系统数据中不存在的幻觉信息。
#安全/对齐#Agent#评测/基准
Anthropic 最新研究显示,50 位因果推断专家在农业合作社政策评估场景中采纳 AI 偏好的比例高达 86%,远超随机选择的 50%。即使事先已有判断,AI 给出相反意见后专家改变立场的可能性比 AI 认同时高出 53 个百分点,且研究经验、自评专业水平和对 AI 的信任度都未能可靠降低这种影响。事后 52% 的参与者认为最终建议更像自己的观点,77% 在解释时至少复用了 AI 的一条论证,但只有 15% 明确提到 AI。研究同时发现使用 AI 后严重方法或编码缺陷比例从 55% 降至 6%,中位耗时从 90 分钟降至 65 分钟。
#论文/研究#安全/对齐#Agent
Anthropic 最新研究让 50 位因果推断专家在虚构农业合作社政策评估中做分析决策,专家采纳 AI 偏好的比例达 86%,远超随机选择的 50%。即使事先已有判断,AI 给出相反意见后专家改变立场的可能性比 AI 认同时高 53 个百分点,且研究经验、自评专业水平、教育背景及对 AI 的信任度均未能可靠降低这种影响。事后调查中 52% 的参与者认为最终建议更像自己的观点,77% 在解释时至少复用了 AI 的一条论证,但只有 15% 明确提到 AI;使用 AI 的参与者中位耗时从 90 分钟降至 65 分钟,严重缺陷比例从 55% 降至 6%。
#论文/研究#安全/对齐#Agent
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)新范式,并在96台真实机器人组成的集群中完成规模化验证。实验覆盖插花、叠衣服、手机充电、凳子组装、手机包装五项任务,两台未参与训练的机器人完成600次测试失败15次,总体成功率97.5%,五项任务成功率均超过6名人类操作员的平均水平。手机包装任务成功率从79.2%提升到98.3%;参与训练的机器人从16台增至96台时,成功率从86.7%提升到98.3%。
#论文/研究#具身智能#数据/训练
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)新范式,让机器人复用同伴经验而非依赖人工示教,并在 96 台真实机器人集群中完成规模化验证。两台未参与训练的机器人共完成 600 次测试、失败 15 次,总体成功率 97.5%,插花、叠衣服、手机充电、凳子组装和手机包装五项任务成功率均超过 6 名人类操作员平均水平。系统层基于 RLinf 构建容错异步训练系统 FATS,96 台规模测试中累计采集 9834 轮执行经验,22 台机器人发生 30 次故障,机时损失仅占 1.3%;算法层提出失败引导的经验检索微调算法 FERT,同时利用成功与失败经验定位易错环节。硬件为智元双臂机器人 AgiBot G2,基础模型为 π0。
#论文/研究#具身智能#数据/训练
谷歌研究团队于 10 月 27 日公开一项名为睡眠框架的持续学习研究,论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。该框架把模型运行分为清醒阶段和睡眠阶段,睡眠阶段通过参数扩展、混合专家记忆块和知识蒸馏把短期上下文写入长期参数,并通过生成合成样本的做梦环节提升推理与泛化。实验显示模型可处理最长约 1000 万 token 的上下文,在未见语言的多阶段持续学习中保持接近零的性能下降,并在 AIME 24/25 等数学基准上取得更高准确率。
#论文/研究#Google#数据/训练
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)范式,让机器人借鉴同伴的成功经验而非只依赖人类示范,并在96台真实机器人集群中完成规模化验证。两台未参与训练的机器人在插花、叠衣服、手机充电、凳子组装、手机包装五项任务上共测试600次,失败15次,总体成功率97.5%,均超过6名人类操作员的平均水平;手机包装任务成功率从79.2%提升到98.3%。参与训练的机器人从16台增至96台时,成功率从86.7%升至98.3%。系统层面基于开源框架RLinf构建容错异步训练系统FATS,96台规模测试中累计采集9834轮执行经验,22台机器人发生30次故障,故障造成的时间损失仅占全部运行机时的1.3%。
#论文/研究#具身智能#数据/训练
谷歌研究团队发布“睡眠框架”(Sleep Framework)持续学习研究,把模型运行分为清醒与睡眠两个阶段,以解决大模型知识固化、难以吸收新信息的问题。睡眠阶段通过参数扩展、混合专家记忆块和知识蒸馏把短期上下文写入长期参数,并通过“做梦”生成合成样本做强化学习。实验显示该框架可处理最长约 1000 万 token 上下文,在未见语言的多阶段持续学习中性能下降接近零,并在 AIME 24/25 等数学基准上取得更高准确率。
#论文/研究#Google#数据/训练
人工智能语言公平研究联盟上月发布的研究发现,AI 模型处理不同语言时消耗的 Token 数量差异悬殊,在其中一个模型中最多相差 17 倍。研究称互联网最常用的 20 种语言之间 Token 消耗量已相差 1.5 至 5 倍,扩大到 200 种语言后差距进一步拉大,研究人员将这部分额外成本称为隐性的“分词器税”。Token 消耗增加不仅推高费用,还会拖慢响应速度、压缩可用上下文,研究者建议 AI 实验室公布各语言评估结果并改进下一代分词器设计。
#论文/研究#数据/训练
#论文/研究#Agent#评测/基准
#安全/对齐#Agent#MCP/工具调用
Lots of debate this week on whether journals should ban AI in peer review. We actually tested this in our new preprint, and the results were pretty clear to me. For context, I've reviewed for most of the big journals and evaluated 1,000 human reviews as an editor. I love to read and evaluate science. TLDR: From now on I won't do any peer review without AI. For clinical trials, I'd even call human-only review dangerous 🧵
#论文/研究#评测/基准
#论文/研究#多模态#端侧