先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
Lilian Weng 谈高质量人类数据：众包标注与评分者一致性事件进展
1 个已确认进展
- 来源：Lilian Weng：Lil'Log
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月5日
Lilian Weng：Lil'Log
Lilian Weng 谈高质量人类数据：众包标注与评分者一致性
Lilian Weng 在 Lil'Log 撰文讨论高质量人类数据对深度学习训练的价值，指出数据收集涉及任务设计、评分者筛选训练与数据聚合三个环节。文章回顾 1907 年 Nature 的“Vox populi”牛体重竞猜，以及 Callison-Burch 2009 年用 Amazon Mechanical Turk 做机器翻译非专家评估的研究，并介绍多数投票、Cohen's Kappa、MACE 等评分者一致性度量方法。