马东锡读文：前沿AI团队如何管理
Great read!
马东锡（Dongxi NLP）分享阅读前沿 AI 团队组织管理文章的笔记：核心语言建模团队应始终保持小规模，即使公司整体急剧扩张；预训练规划少而大，后训练可相对连续迭代。他还强调工程与训练不可过度切割，并主张不要发布太多模型，坚持固定训练日程、拥有更少但更有能力的模型。
查看原帖我认为，组织架构和团队功能对于构建优秀的大语言模型有多重要，这一点被大大低估了。这篇文章发表已超过18个月，至今仍是我最喜爱的Interconnects文章之一。正因如此，我们仍经常看到组织崩溃、需要重建（例如Llama/xAI），也正因如此，我相信落后者仍能迎头赶上。一个高效的组织和团队，其价值相当于算力的数倍。 我也认为，构建模型并没有那么多秘诀。是的，确实有一些技巧，但大部分收益来自持续一致的执行和对算力的明智使用。
查看原文
I think it's vastly underrated how important org chart and team functionality is to building a good LLM. Over 18 months old, and still one of my favorite all time Interconnects posts. It's why we still often see orgs crumble and need to get rebuilt (e.g. Llama/xAI) and why I believe underdogs can still catch up. Having an effective org and team is worth multiple multiples in compute. I also think there isn't that much secret sauce to building models. Yes, sure there are some tricks, but most of the gains come from consistent execution and using your compute wisely.
正文
Great read!
训练 frontier AI 的团队中充满着世界上最聪明的大脑，运行着巨量的算力，如何管理这样独特的组织？
随手记了很多笔记，非常受用：
1. 大团队必然滋生政治与领地意识，但语言模型的关键信息必须自下而上流动。 2. 预训练与后训练的规划逻辑不同，前者少而大，后者可相对连续迭代。 3. 核心语言建模团队应始终保持小规模，即使公司整体急剧扩张。 4.工程与训练不可过度切割，工程必须服务于下一代模型。 5. 不要发布太多模型，坚持一套固定的模型训练日程。拥有更少但更有能力的模型。
当然还有更多，推荐深度阅读！