Hamel Husain 发布教程：如何用决策模型做 Evals
好文！
AI 导读
Hamel Husain 发布新博客，讲解如何用决策模型做 Evals，包括为任务选择决策模型、调整其阈值（不要默认 0.5 合适）以及解读模型给出的分数，文中配有多个交互图表。马东锡 NLP 转发时提到，近期出现的决策模型包括 TypeSafe 的 Jev、Perplexity 的 Decider、Cloudflare 的 Clef 和 OpenAI 的 Decisions API，它们输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
查看原帖新博客文章 🎉：如何用决策模型做 Evals 在这篇文章中，我们向你展示如何为你的任务选择决策模型、调整其阈值（不要想当然地认为 0.5 的默认值就是好的！），以及解读其分数。 这里有很多很酷的交互式图表。https://t.co/uYAfte9Kb5
查看原文
New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://t.co/uYAfte9Kb5
正文
好文！
近段时间涌现出“决策模型”，如：
输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
如何用这些决策模型做 Evals，推荐读这篇！