先了解这件事
AI 综述
2026年6月24日,Zyphra Research 发布研究,指出 GPT 风格 decoder-only Transformer 在多语言持续学习任务中会出现可塑性丧失。研究显示,5M 到 314M 非嵌入参数模型在留出的越南语探测任务上,验证损失 AUC 最终都转为上升。研究据此拟合出缩放律 T = 1.3 × 10^-5 · P^0.8269,表明可塑性丧失的发生时间随参数量亚线性推迟,靠扩大参数规模来避免该问题收益递减。研究还显示,在把八种语言数据合并的静态学习设定下,5M、12M、27M 模型同样出现可塑性丧失,说明这一现象并非仅由数据分布切换引起。目前尚无后续发展。
AI 根据公开报道生成
最新进展 · 正式报道
Zyphra 研究持续学习中的可塑性丧失：5M 到 314M 参数模型均会失去学习能力事件进展
1 个已确认进展
- 来源：Zyphra Research
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
6月24日
Zyphra Research一手
Zyphra 研究持续学习中的可塑性丧失：5M 到 314M 参数模型均会失去学习能力
Zyphra Research 发现 GPT 式 decoder-only Transformer 在多语言持续学习任务中会出现可塑性丧失，5M 到 314M 非嵌入参数模型在留出的越南语探测任务上验证损失 AUC 最终都转为上升。研究据此拟合出缩放律 T = 1.3 × 10^-5 · P^0.8269，表明可塑性丧失的发生时间随参数量亚线性推迟，靠扩大参数规模来避免该问题收益递减。研究还显示，在把八种语言数据合并的静态学习设定下，5M、12M、27M 模型同样出现可塑性丧失，说明这一现象并非仅由数据分布切换引起。