先了解这件事
2026年9月28日,Anthropic在claude-api技能中新增两条命令:/claude-api build-eval 与 /claude-api hillclimb。前者用于在代码库内构建评测集并校验评分器,后者按单次改动迭代提升应用表现,并用留出集检测过拟合。官方同时给出评测设计原则,包括任务贴近生产、为前沿模型留有提升空间、降低运行间方差,以及用人工判断的难题而非模型当前失败案例来采样。示例中,客服工单基准从 Opus 4.8 默认高 effort 的 74.4% 准确率、每单 4.6 美分,经提示词审计与换用 Opus 5.5 低 effort 后降至 1.9 美分,最终 Sonnet 5 配置在 14 条留出工单上达到 90.5%,成本约为原来的五分之一。目前尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Anthropic：Claude.dev 开发者博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月28日
Anthropic：Claude.dev 开发者博客一手
Anthropic 为 claude-api 技能加入 build-eval 与 hillclimb 命令
Anthropic 在 claude-api 技能中新增 /claude-api build-eval 和 /claude-api hillclimb 两条命令，前者在代码库内构建评测集并校验评分器，后者按单次改动迭代提升应用表现，并用留出集检测过拟合。文章给出评测设计原则，包括任务贴近生产、前沿模型留有提升空间、低运行间方差，以及用人工判断的难题而非模型当前失败案例来采样。示例中，客服工单基准从 Opus 4.8 默认高 effort 的 74.4% 准确率、每单 4.6 美分，经提示词审计与换用 Opus 5.5 低 effort 后降到 1.9 美分，最终 Sonnet 5 配置在 14 条留出工单上达到 90.5%，成本约为原来的五分之一。