先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
Google Research：构建更好的 AI 基准，需要多少标注者才够？事件进展
1 个已确认进展
- 来源：Google Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
4月1日
Google Research一手
Google Research：构建更好的 AI 基准，需要多少标注者才够？
Google Research 提出一套基于“gold”评分数据的评估框架，研究每个条目标注者数量与条目数量之间的权衡，论文题为《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》。研究发现常用的每项 1、3 或 5 名标注者往往不足，通常需要超过 10 名标注者才能反映人类意见分歧；按所选指标优化比例后，约 1,000 条总标注即可获得高可复现结果。该模拟器已在 GitHub 开源。