先了解这件事
AI 综述
Cohere 提出 CALIBER 方法,用于推理模型的置信度校准。该方法训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上,7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028,降幅 52.5%,AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型,并在 1,000 道留出题及三个问答基准上评测。目前该消息来自 Cohere 产品与研究博客,尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
重新思考推理模型的置信度事件进展
1 个已确认进展
- 来源：Cohere 产品与研究博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月20日
Cohere 产品与研究博客一手
重新思考推理模型的置信度
Cohere 提出 CALIBER 方法，训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上，7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028，降幅 52.5%，AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型，并在 1,000 道留出题及三个问答基准上评测。