Google DeepMind 用竞价拍卖选模型，效果达最优的 99.2%
New Google DeepMind paper shows that if AI models offer money to answer each question and the highest offer answers, results are 99.2% as good as always picking
Google DeepMind 新论文提出让各模型为回答每个问题出价、由出价最高者作答，在 110 个模型、超 3 万条 EmbedLLM 提示词上模拟拍卖，达到最优可能值的 99.2%，而按提示词类型路由到最佳模型为 89.4%。在各方法表现最差的提示词簇上，拍卖保持 96.0%，单一最佳模型仅 6.0%。论文证明当多个智能体通常对提示词给出高估值时损失会缩小。
正文 · AI 翻译
Google DeepMind 的新论文表明，如果 AI 模型为回答每个问题出价，并由出价最高者作答，其结果能达到始终选择最佳模型的 99.2%。
也就是说，假设你事先并不知道哪个模型最适合每个新问题。那么该由谁来回答？
论文给出的答案是：让每个模型为这份工作出价。自知擅长该问题的模型会出更高的价。出价最高者获得作答权。
他们证明，当多个智能体通常对某个提示词给出高估值时（例如蒸馏模型的表现接近最佳模型时），损失会缩小。他们在超过 30,000 条 EmbedLLM 提示词上模拟了 110 个模型之间的拍卖。
在全部 110 个模型参与竞价的情况下，拍卖达到了最优可能值的 99.2%，而将每种提示词类型路由到其最佳模型的方法为 89.4%。在每种方法表现最差的提示词簇上，拍卖保持了 96.0%，而单一最佳模型仅保持 6.0%。
如果你运营一个模型市场，那么当每个竞价池中都有多个强模型时，简单的按出价支付拍卖效果很好。