先了解这件事
AI 综述
Together AI于2026年11月16日公开其智能体评测方法,并宣布计划下周开源其评测工具包。据Together AI Blog介绍,该方法为常见开发任务建立提示词列表,分别在基线、文档MCP和技能包三种配置下用三个模型各跑两次,由LLM裁判判定通过、未完成或失败。文章复盘了两个案例:GPU集群定价任务中技能文件指向营销页而非价格表,补两句指引后所有模型100%通过;API错误信息把智能体引向不存在的路由,已修正。14个技能合并为统一技能包后首版通过率跌到75%、单次成本翻倍,压缩路由、更新示例模型、修复示例代码后通过率升至97.2%,成本回到原水平。
AI 根据公开报道生成
最新进展 · 正式报道
Together AI 如何做智能体评测:小改动把任务通过率从 75% 提到 97%事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月16日
Together AI Blog一手
Together AI 如何做智能体评测:小改动把任务通过率从 75% 提到 97%
Together AI 公开了其智能体评测方法:为常见开发任务建立提示词列表,分别在基线、文档 MCP 和技能包三种配置下用三个模型各跑两次,由 LLM 裁判判定通过、未完成或失败。文章复盘了两个案例,一是 GPU 集群定价任务中技能文件指向营销页而非价格表,补两句指引后所有模型 100% 通过;二是 API 错误信息把智能体引向不存在的路由,已修正。14 个技能合并为一个统一技能包后首版通过率跌到 75%、单次成本翻倍,压缩路由、更新示例模型、修复示例代码后通过率升至 97.2%,成本回到原水平。作者称 9 月 30 日三个模型成绩相差仅几个百分点,加上文档和技能指引后通过率从 82% 升到 96% 和 97%,并计划下周开源其评测工具包。