←事件详情

热点事件

Dex Horthy公布Slopcode Bench复测结果

2 篇正式报道2 条事件动态更新于 10月28日 01:20

先了解这件事

AI 综述

Dex Horthy于2026年10月28日在X上发布Slopcode Bench最新评测结果,并附上「AI That Works」第79期链接。同日发布的复测文章显示,作者用完整版SlopCodeBench(36道题、每个设置196个检查点)复测前沿模型,最高为GPT-6 Astra,严格通过率16.3%,高于5月GPT-5.5的14.8%,参测模型整体落在12.2%-16.3%。在三个完整对照中,XHigh档成本是Medium的2.11-4.22倍,但Opus 5.5在Medium档的严格通过数反而更多(28对25),Astra和SOL则在XHigh档表现更好。代码质量方面,Opus 5.5 XHigh的slop行占比为77.75%,低于Medium的94.25%,作者提醒这可能是新模型产生了尚未被200多个linter覆盖的新反模式。

AI 根据公开报道生成

最新进展 · 正式报道

Dex Horthy 公布 Slopcode Bench 新结果

事件进展

1 个已确认进展

  1. Dex Horthy公布Slopcode Bench新结果

    来源:Dex Horthy

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月28日

  1. Dex Horthy

    Dex Horthy 公布 Slopcode Bench 新结果

    Dex Horthy 在 X 上发布了 Slopcode Bench 的最新评测结果,并附上「AI That Works」第 79 期的链接。

  2. Dex Horthy

    SlopCodeBench 复测:GPT-6 Astra 严格通过率 16.3% 领先 Opus 5.5

    作者用完整版 SlopCodeBench(36 道题、每个设置 196 个检查点)复测前沿模型,最高的是 GPT-6 Astra,严格通过率 16.3%,高于 5 月 GPT-5.5 的 14.8%,参测模型整体落在 12.2%-16.3%。在三个完整对照中,XHigh 档成本是 Medium 的 2.11-4.22 倍,但 Opus 5.5 在 Medium 档的严格通过数反而更多(28 对 25),Astra 和 SOL 则在 XHigh 档表现更好。代码质量方面,Opus 5.5 XHigh 的 slop 行占比为 77.75%,低于 Medium 的 94.25%,作者提醒这可能是新模型产生了尚未被 200 多个 linter 覆盖的新反模式。

关联事件

  1. 相关事件Yuchen Jin称Kimi K3.1 Pro在AA智能指数中排第4
  2. 相关事件IBM与Kaggle合作维护ScarfBench持续更新排行榜
  3. 相关事件OpenAI在ChatGPT Work和Codex上线GPT-6.1 Terra
  4. 相关事件Kimi官方账号发布Kimi K3.1预热视频