TypeSafe AI：如何评判基准测试的好坏
who benchmarks the benchmarkers?
AI 导读
TypeSafe AI 回应 Tim Neumann 关于其 CEO 不信任公开基准测试的讨论，提出好评测应具备三点：时效性（只反映某一时刻的能力快照）、有据可依（直接测量你关心的任务与数据）、具体（针对期望结果而非其代理指标）。
查看原帖TypeSafe 的 CEO @CompleteSkeptic 不信任公开基准测试。 Diogo，我也不信。 于是 @p0 和我写了一篇博客，基于我们亲自审核并反复迭代过的真实公司训练数据集，评估了 8 个决策模型。 不过话说回来，Jev 依然稳居榜首 👑 https://t.co/Qd2g0Hwp4V
查看原文
Typesafe's CEO @CompleteSkeptic does not trust public benchmarks. Neither do I, Diogo. So @p0 and I wrote a blog evaluating 8 decision models on real company training datasets we have personally audited and iterated on. For what it's worth though, Jev is still on top 👑 https://t.co/Qd2g0Hwp4V
正文 · AI 翻译
谁来评测评测者？
一个好的评测应当：
- 时效性强。它只反映某一时刻的能力快照。- 有据可依。它直接测量你所关心的任务与数据上的表现。- 具体明确。它针对的是期望结果本身，而非其代理指标。
记下来吧！