OpenRouter 对话 Mercor:用 evals 决定模型取舍
When your inference bill starts climbing, choosing the right model becomes a question of accuracy, cost, and latency.
AI 导读
OpenRouter 在 New Defaults 节目中,由 cclark 对话 Mercor 的 OsvaldNitski,讨论推理成本上升时如何在准确率、成本与延迟之间选模型,以及 evals 如何帮助团队判断何时优化、切换模型或自研模型。
正文 · AI 翻译
当你的推理账单开始攀升时,选择合适的模型就变成了一个关乎准确率、成本和延迟的问题。
在最新一期的 New Defaults 节目中,OpenRouter 的 @cclark 与来自 @mercor 的 @OsvaldNitski 坐下来,讨论了 evals 如何帮助团队判断何时进行优化、切换模型或自行训练模型。