先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
Apple 研究：双语预训练混合数据优于超参数调优事件进展
1 个已确认进展
- 来源：Apple Machine Learning Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月14日
Apple Machine Learning Research一手
Apple 研究：双语预训练混合数据优于超参数调优
Apple 研究团队在 150M 到 1.43B 四种模型规模上进行了约 1000 次预训练实验，以阿拉伯语为目标语言、英语为辅助语言，比较数据混合与超参数调优的效果。结果显示，混合数据在验证损失和下游任务准确率上均优于调优，且优势随模型规模扩大而增大；混合带来的提升相当于 2–3 倍目标数据（验证损失）和 2–13 倍目标数据（下游准确率）。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。