Mirendil 发布首个从零预训练模型 Fern，支持 10M token 上下文
Mirendil 发布首个从零预训练的模型 Fern：把 10M token 当成另一种「算力」，服务「做 AI 的人」 @mirendil
Mirendil 发布首个从零预训练的模型 Fern，上下文最长可达 10M token，约合 50 万行代码（Megatron-LM 量级）或数天的 agent 工作轨迹。首个版本 Fern 0.1 只做了短轮 post-training，架构、训练和 serving 都按 10M 上下文设计，next-token 指标随上下文变长仍改善。其面向审计数据、读训练日志、通读 agent 轨迹等高吞吐工作，列出更大仓库工作、agentic coding、AI 研究代码、长日志 debug 等六个场景。
查看原帖隆重介绍 Fern，Mirendil 的首个模型：从零开始预训练，上下文长度最高可达 10M token！ 这大约相当于 50 万行代码（大致是 Megatron-LM 的规模），或者一个 agent 数天的工作量，全部一次性纳入上下文。 它的首个版本 Fern 0.1 只进行了一轮简短的 post-training 🚢 https://t.co/ClnV1Z3yzN
查看原文
Introducing Fern, Mirendil’s first model: pretrained from scratch, with up to 10M tokens of context! That’s ~0.5M lines of code (roughly Megatron-LM scale) or days of an agent’s work, all in context at once. Its first version, Fern 0.1, had a short round of post-training 🚢 https://t.co/ClnV1Z3yzN
正文
Mirendil 发布首个从零预训练的模型 Fern：把 10M token 当成另一种「算力」，服务「做 AI 的人」 @mirendil https://t.co/8Jwai8sGDu
10M Token 能做什么：~ 23 MB 代码 / ~50 万行，Megatron-LM 量级，或「几天 agent 干活」的轨迹一次塞进上下文。0.1 版只做了短轮 post-training；Mirendil 叙事是「参数与上下文是两条花算力的路」，架构 / 训练 / serving 都按 10M 设计；next-token 指标随上下文变长仍改善，并称预测质量可一路用到 10M。面向审计数据、读训练日志、通读 agent 轨迹这类高吞吐工作；0.1 只做了短轮 post-training。
六个使用场景 · 更大仓库上的工作 · agentic coding（跑命令、读输出、直到测试过） · AI 研究代码（训练循环、数据管线、评测） · 从长日志/堆栈 debug · 通读整段 agent/训练轨迹并解释因果 · 扫描整块预训练 shard 查重复、榜单污染与垃圾数据