Google论文提出工程任务基准PLE
Google 发表新论文,提出面向实体工程任务的 PLE 基准。该基准包含 85 个由执业工程师编写或核验的电气、土木、结构和机械工程任务。据 Rohan Paul 的报道,最强智能体在 PLE 上仅得 50.6%:Claude Opus 5.5 在 Claude Code 中以 50.6% 在 14 个模型中居首,每个任务消耗 27M tokens、耗时 63 分钟,需阅读约 61 个项目文件并交付进度表、报告或 2D/3D 图纸。报道还称,在设计任务中其输出满足 91% 的约束,但只有 41.3% 满足全部硬性约束。目前尚无后续进展。
匹配字段标题