←事件详情

热点事件

QM-LibBench提出85个算子的跨芯片库迁移基准

1 篇正式报道1 条事件动态更新于 10月22日 17:37

先了解这件事

AI 综述

QM-LibBench 提出一个面向跨芯片库迁移的基准,覆盖 OpenCV、ncnn、libjpeg 中 85 个真实算子,用于评测 AI 智能体的库迁移能力。该基准来自 ICML 2026 论文,评审中称 CLAM-Bench。评测显示,12 组「智能体+大模型」组合平均仅 20.88% 的任务一次做对,最好一组为 37.65%;加上不许变慢的要求后,几乎全部接近 0。论文将根因归结为智能体只会模仿源码表面字符,而非理解向量指令语义,并提出多智能体框架 FSCM,先理清库依赖结构再生成代码以提升正确率。

AI 根据公开报道生成

最新进展 · 正式报道

ICML 2026 | QiMeng-LibBench:85 个真实算子告诉你,AI 把库跨芯片迁移过去还差多远

事件进展

1 个已确认进展

  1. QM-LibBench提出跨芯片库迁移基准

    来源:阿里云开发者社区 AI

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月22日

  1. 阿里云开发者社区 AI

    ICML 2026 | QiMeng-LibBench:85 个真实算子告诉你,AI 把库跨芯片迁移过去还差多远

    ICML 2026 论文提出 QiMeng-LibBench(评审中称 CLAM-Bench),用 OpenCV、ncnn、libjpeg 中 85 个真实算子评测 AI 智能体的跨芯片库迁移能力,12 组「智能体+大模型」组合平均仅 20.88% 任务一次做对,最好一组 37.65%,加上不许变慢的要求后几乎全部接近 0。论文指出根因是智能体只会模仿源码表面字符而非理解向量指令语义,并提出多智能体框架 FSCM,先理清库依赖结构再生成代码以提升正确率。

关联事件

  1. 相关事件METR发现约半数通过SWE-bench的PR不会被合并
  2. 相关事件Satya Nadella称团队诊断编排器研究发表于Science
  3. 相关事件Anthropic发布报告披露公司用工结构变化
  4. 相关事件IBM Research报告学习记忆方法在τ2-bench服务基准上领先