AI News

热点事件

Together AI开源其agent评测构建包

1 篇正式报道1 条事件动态更新于 11月16日 08:00

先了解这件事

AI 综述

Together AI于2026年11月16日公开其智能体评测方法,并宣布计划下周开源其评测工具包。据Together AI Blog介绍,该方法为常见开发任务建立提示词列表,分别在基线、文档MCP和技能包三种配置下用三个模型各跑两次,由LLM裁判判定通过、未完成或失败。文章复盘了两个案例:GPU集群定价任务中技能文件指向营销页而非价格表,补两句指引后所有模型100%通过;API错误信息把智能体引向不存在的路由,已修正。14个技能合并为统一技能包后首版通过率跌到75%、单次成本翻倍,压缩路由、更新示例模型、修复示例代码后通过率升至97.2%,成本回到原水平。

AI 根据公开报道生成

最新进展 · 正式报道

Together AI 如何做智能体评测:小改动把任务通过率从 75% 提到 97%

事件进展

1 个已确认进展

  1. Together AI开源其agent评测构建包

    来源:Together AI Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月16日

  1. Together AI Blog一手

    Together AI 如何做智能体评测:小改动把任务通过率从 75% 提到 97%

    Together AI 公开了其智能体评测方法:为常见开发任务建立提示词列表,分别在基线、文档 MCP 和技能包三种配置下用三个模型各跑两次,由 LLM 裁判判定通过、未完成或失败。文章复盘了两个案例,一是 GPU 集群定价任务中技能文件指向营销页而非价格表,补两句指引后所有模型 100% 通过;二是 API 错误信息把智能体引向不存在的路由,已修正。14 个技能合并为一个统一技能包后首版通过率跌到 75%、单次成本翻倍,压缩路由、更新示例模型、修复示例代码后通过率升至 97.2%,成本回到原水平。作者称 9 月 30 日三个模型成绩相差仅几个百分点,加上文档和技能指引后通过率从 82% 升到 96% 和 97%,并计划下周开源其评测工具包。

关联事件

  1. 相关事件Anthropic发布Claude Opus 5.5
  2. 相关事件LangChain的OpenWiki从代码库生成Markdown知识库
  3. 相关事件AWS展示多智能体系统评估方案
  4. 相关事件千问发布Qwen4-Max预览版