17岁Kimi核心研究员陈广宇离职赴硅谷,折射中国AI人才焦虑
10月15日,17岁的Kimi机器学习研究员陈广宇在X上发布离职帖,随后确认将前往硅谷湾区。他参与研发的Attention Residuals架构是Kimi K3的底层技术之一,其中Block AttnRes将显存复杂度从层数级降到块数量级,在Kimi Linear 48B模型上用1.4万亿token训练,达到同样效果只需基准模型约80%的算力。文章借此事讨论中国AI公司在组织、文化与技术天花板上如何留住非典型顶尖人才。
年3月发表的Attention Residuals论文。 共同一作的分量 Attention Residuals这篇论文,是理解陈广宇技术价值的关键。 简单说,它改进的是Transformer架构里沿用了近十年的残差连接机制。传统残差连接像一层层叠加的笔记,每一层加进新信息,但层数多了以后,早期的有用信息会被冲淡。 AttnRes的原始想法由苏剑林(旋转位置编码RoPE提出者)提出,张宇(Kimi Linear架构第一作者)和陈广宇加入后,在更大规模模型上进行验证。 最关键的工程突破,是陈广宇与张宇共同提出的Block AttnRes(分块注意力残差) 。把上百层网络划分成若干区块,块内维持低成本的基础累加,只在块间做精细的注意力聚合。这样显存复杂度从层数级降到了块数量级,只分约8个块,就能找回全量版绝大部分性能。 实测数据很硬核,Kimi Linear 48B模型上用1.4万亿token训练,AttnRes达到同样效果只需要基准模型约80%的算力,推理延迟增量不到2%。GPQA-Diamond提升7.5分,Minerva Math涨3.6分,HumanEval涨3.1分。 论文发布当
匹配字段正文
