←事件详情

热点事件

Sakana AI发布LLM同行评审研究Beyond Imitation

1 篇正式报道1 条事件动态更新于 10月11日 06:02

先了解这件事

AI 综述

2026年10月11日,Sakana AI发布TMLR论文Beyond Imitation,提出以错误检测而非模仿人类评审来评估AI审稿,并给出Contradiction Benchmark与Multi-Layered Review(MLR)系统。据MarkTechPost报道,MLR基于Claude Sonnet 4与Claude Haiku 3.5三个智能体运行,在257篇论文植入的1,164处矛盾中,4次评审可检出73.43%的核心论点错误,最佳基线AgentReview为14.81%,单次评审为60.79%。同一报道称,在211篇真实撤稿论文上,MLR精确匹配率仅16.11%,且隐藏的提示词注入仍能影响所有被测AI审稿系统;每次评审成本约0.47美元,消耗189,062输入token。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

Sakana AI 发布 LLM 同行评审论文 Beyond Imitation,核心论点错误检出率达 73.43%

事件进展

1 个已确认进展

  1. Sakana AI发布LLM同行评审研究

    来源:MarkTechPost

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月11日

  1. MarkTechPost

    Sakana AI 发布 LLM 同行评审论文 Beyond Imitation,核心论点错误检出率达 73.43%

    Sakana AI 发布 TMLR 论文 Beyond Imitation,提出以错误检测而非模仿人类评审来评估 AI 审稿,并给出 Contradiction Benchmark 与 Multi-Layered Review(MLR)系统。MLR 基于 Claude Sonnet 4 与 Claude Haiku 3.5 三个智能体运行,在 257 篇论文植入的 1,164 处矛盾中,4 次评审可检出 73.43% 的核心论点错误,最佳基线 AgentReview 为 14.81%;单次评审为 60.79%。在 211 篇真实撤稿论文上,MLR 精确匹配率仅 16.11%,且隐藏的提示词注入仍能影响所有被测 AI 审稿系统。每次评审成本约 0.47 美元,消耗 189,062 输入 token。

关联事件

  1. 相关事件Epoch AI 发布 InnovationEval 基准测试结果
  2. 相关事件OpenAI智能体攻击在线数据库与政府网站
  3. 相关事件Artificial Analysis 发布 AA-Robotics v0.1 研究预览
  4. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型