←新闻详情

Rohan Paul更新于 10月25日 18:46

Meta 与卡内基梅隆大学论文:RL 训练的小模型选工具准确率超过 402B Llama-4-Maverick

New Meta and Carnegie Mellon paper finds that small models trained with RL pick the right tools more often than a prompted 402B Llama-4-Maverick.

AI 导读

Meta 与卡内基梅隆大学的新论文发现,用强化学习训练的小模型在工具选择上比提示词驱动的 402B Llama-4-Maverick 更常选对工具。研究者训练 Qwen3 模型把请求拆成步骤、逐步用关键词搜索并每步选 1 个工具,训练先用教师编写的示例,再用强化学习奖励有效的搜索步骤和精确选择。在 ToolBench 上,训练后的 8B 模型精确选对工具的比例为 41.5%,而 Maverick 最佳提示词设置为 30.6%;未经重新训练,它在 4 个新工具基准中的 3 个上超过 Maverick,并在换用更强的检索器后进一步提升。

推荐理由

AI 评分 60

原文给出了小模型与 402B 大模型在工具选择上的具体对比数字,可供评估智能体工具检索方案时参考。

主题

标签

正文 · AI 翻译

Meta 与卡内基梅隆大学的新论文发现,用强化学习训练的小模型在工具选择上比提示词驱动的 402B Llama-4-Maverick 更常选对工具。

智能体可能面对超过 10,000 个工具,而它们的描述无法全部放入上下文。检索器只按相关性排序,因此近期的方案让 Claude 或 ChatGPT 来挑选工具。

他们训练 Qwen3 模型把请求拆分成步骤,用普通关键词搜索逐步检索,并在每一步挑选 1 个工具。训练先使用教师编写的示例,然后用强化学习奖励有效的搜索步骤和精确选择。

在 ToolBench 上,训练后的 8B 模型精确选对工具的比例为 41.5%,而 Maverick 最佳提示词设置为 30.6%。未经重新训练,它在 4 个新工具基准中的 3 个上超过了 Maverick,并在换用更强的检索器后进一步提升。

如果你的智能体需要从庞大的工具目录中选择工具,那么一个经强化学习训练的小模型就能承担选择任务,而无需依赖提示词驱动的大模型。

来源

Rohan Paul