Anthropic为claude-api技能新增评测优化指导
2026年9月28日,Anthropic在claude-api技能中新增两条命令:/claude-api build-eval 与 /claude-api hillclimb。前者用于在代码库内构建评测集并校验评分器,后者按单次改动迭代提升应用表现,并用留出集检测过拟合。官方同时给出评测设计原则,包括任务贴近生产、为前沿模型留有提升空间、降低运行间方差,以及用人工判断的难题而非模型当前失败案例来采样。示例中,客服工单基准从 Opus 4.8 默认高 effort 的 74.4% 准确率、每单 4.6 美分,经提示词审计与换用 Opus 5.5 低 effort 后降至 1.9 美分,最终 Sonnet 5 配置在 14 条留出工单上达到 90.5%,成本约为原来的五分之一。目前尚无后续发展事实。
匹配字段标题