先了解这件事
AI 综述
2026年10月10日,微软提出并测试了编码智能体评测框架CABRA。该研究认为,编码智能体的瓶颈在于读懂代码而非改代码,因此应以阅读和比较代码而非diff大小来评测。团队构建CABRA生成合成编码任务,每次只提升一种难度,用8个LLM和6个智能体跑了6,840个任务,并把每次工具调用标注为阅读、分析、搜索、编辑或测试。结果显示,纯LLM随任务变难而变差,智能体靠grep等工具保持接近满分;在SWE-bench Verified上,阅读与分析调用次数比编辑行数更能预测智能体失败,相关系数为-0.200对-0.159。
AI 根据公开报道生成
最新进展 · 正式报道
微软 CABRA 研究：编码智能体瓶颈在读懂代码而非改代码事件进展
1 个已确认进展
- 来源：Rohan Paul
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月10日
Rohan Paul
微软 CABRA 研究：编码智能体瓶颈在读懂代码而非改代码
微软论文发现编码智能体在需要理解大量代码时出错，而非在大量编辑时出错，因此应以阅读和比较代码而非 diff 大小来评测。团队构建 CABRA 生成合成编码任务，每次只提升一种难度，用 8 个 LLM 和 6 个智能体跑了 6,840 个任务，并把每次工具调用标注为阅读、分析、搜索、编辑或测试。纯 LLM 随任务变难而变差，智能体靠 grep 等工具保持接近满分；在 SWE-bench Verified 上，阅读与分析调用次数比编辑行数更能预测智能体失败，相关系数为 -0.200 对 -0.159。