Mirendil 发布首个模型 Fern 0.1，支持 10M token 上下文
Mirendil Launches Fern 0.1, Its First Model, With 10M-Token Context - MarkTechPost
Mirendil 发布首个模型 Fern 0.1，这是一个从零训练的编码模型，上下文窗口最高 10M token，约合 23 MB 代码、50 万行左右。Mirendil-Base 由一名研究员在 3.5 个月内预训练完成，总计算成本低于 1000 万美元，AI 智能体编写了超过 99% 的代码，训练数据仅来自公开来源。RULER 单针检索在 32K 到 10M token 各长度均为 100%，但 Terminal Bench 4.0 仅 6.1%，SWE-Bench Verified 为 73.4%，目前仅提供托管早期访问，未开源权重。
推荐理由
AI 评分 60
原文同时给出 10M token 上下文的长文检索表现与智能体编码基准的明显短板，便于判断超长上下文模型的真实边界。
主题
正文 · AI 翻译
将我们添加为 Google 上的首选来源
Mirendil 已发布 Fern，这是其首个 AI 模型。Mirendil Fern 是一个从零构建的编码模型，上下文窗口最高可达 10M token。Mirendil 解释说，这相当于约 23 MB 的代码，也就是大约 50 万行。这是一个 Megatron-LM 规模的代码库，可以一次性全部放入上下文。Fern 0.1 是第一个版本，在经过一轮简短的后训练之后基于 Mirendil-Base 构建。对开发者来说，这就像是你可以一次性加载整个仓库、完整的训练日志或数天的智能体轨迹。
TL;DR
规模：0.1 至 0.5T 参数（确切数量和激活参数未披露）；上下文最高 10M token。
运行方式：仅提供托管早期访问；未宣布开放权重或量化版本。
性能：长上下文检索能力强，智能体编码能力在开放权重模型中处于中游，明显落后于前沿模型。
最佳：在 32K 到 10M token 的各个长度上，RULER 单针检索均为 100%（基础模型）。
最差：Terminal Bench 4.0 上为 6.1%，而在 Mirendil 自己的表格中，Claude Opus 5.5 为 66.4%。
什么是 Mirendil Fern？
Fern 是来自 AI 研发实验室 Mirendil 的语言模型。
TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助
Fern 面向 AI 研发工作，而非通用聊天。Mirendil 列出了 6 个目标用途：
在更大的代码库中工作
智能体编码，运行命令直到测试通过
研究代码：训练循环、数据管道和评估
从长日志和堆栈跟踪中调试训练运行
端到端阅读完整的智能体或训练轨迹
审计预训练分片中的重复、污染和垃圾数据
Fern 是如何构建的？
Fern 基于 Mirendil-Base，Mirendil 称该模型由一名研究员在 3.5 个月内完成预训练。总计算成本低于 1000 万美元，包括实验、智能体 token 开销和数据处理。AI 智能体编写了超过 99% 的代码。研究员决定尝试什么以及何时介入。
训练数据仅来自公开来源：GitHub、公开代码、网页和公开数据集。Mirendil 表示未使用蒸馏、合成数据或授权数据。代码是在 PyTorch 和 JAX 上从零编写的。
Fern 是计划中 3 个模型里最小的一个。Mirendil-Base-Large（0.5 至 2T 参数）的预训练已完成超过 80%。Mirendil-Base-XL（2 至 10T）已完成超过 20%。
更长的上下文真的有帮助吗？
Mirendil 在其自己的仓库上测试了下一 token 预测，这些仓库被拼接成一个 42.9 MB 的流。它测量的是以每字节比特数表示的交叉熵，数值越低越好。这里的窗口大小以字节而非 token 计量。
Fern 的损失从 32K 字节窗口下的 0.246 降至 16M 和 23M 字节下的 0.155。其他模型的评分最高到约 1M token，即其宣称的上限。在 1M 字节窗口下，Kimi-K3 得分为 0.140，Fern 为 0.165。因此，在相同上下文下，Fern 并非最佳预测器。它的优势在于曲线在其他模型停止之后仍继续延伸。
Fern 在 RULER 上得分如何？
RULER 是一个标准的长上下文基准。Mirendil 在 Mirendil-Base（后训练前模型）上运行了 5 项 RULER 任务。它使用了贪心解码、关闭思考以及精确字符串匹配。
RULER 任务32K1M4M10M
单针100100100100
多键检索100989890
多键，全部针100100100100
变量跟踪1009575100
多跳问答（HotpotQA）65656045
检索能力保持良好。多跳推理在 10M 时降至 45%。每个 10M 单元格仅使用 20 个示例，而其他位置为 100 个。Mirendil 表示更广泛的长上下文结果即将公布。
Fern 0.1 在智能体基准上表现如何？
Mirendil 将 Fern 0.1 与开放权重模型和前沿模型进行了比较。其他模型的分数来自模型卡、排行榜或 Mirendil 自己的运行结果。
基准（通过率 %）Fern 0.1Kimi-K3GLM-5.3Claude Opus 5.5
DeepSWE v1.144.267.366.974.2
Terminal Bench 4.06.112.641.966.4
SWE Atlas QnA53.266.159.466.4
SWE-Pro v2 Hard76.588.284.3100.0
SWE-Bench Verified73.493.495.498.2
Fern 0.1 在 5 项测试中的 4 项上击败了 Inkling 和 Nemotron 3 Ultra。它在 SWE-Pro v2 Hard 上与 Beam 以 76.5 打平。它在 SWE-Bench Verified 上落后于 Beam，为 73.4 对 81.6。表格中的每个前沿模型和大型开放模型都领先于它。
Fern 与类似模型相比如何？
特性Fern 0.1Kimi-K3GLM-5.3
开发者MirendilMoonshot AIZ.ai
总参数0.1 至 0.5T2.8T753B
激活参数未披露104B~40B
上下文最高 10M token1,048,576 token1,048,576 token
输入文本、代码文本、图像、视频文本
许可证未披露Kimi K3 LicenseGLM-5.3 License
权重未发布开放开放
访问方式早期访问申请开放权重、API开放权重、API
SWE-Bench Verified*73.493.495.4
1M 字节下的每字节比特数*0.1650.1400.170
*数据来自 Mirendil 的公告图表。
关键要点
Fern 0.1 支持最高 10M token，约 23 MB 代码。
每字节比特数在 23M 字节窗口下持续下降至 0.155。
RULER 单针在 32K 到 10M token 范围内保持 100%。
智能体编码落后：Terminal Bench 4.0 上为 6.1%。
基础模型由 1 名研究员加智能体构建，成本低于 1000 万美元。
Michal Sutter+ 文章简介 ⮌
Michal Sutter 是一名数据科学专业人士，拥有帕多瓦大学数据科学理学硕士学位。凭借在统计分析、机器学习和数据工程方面的扎实基础，Michal 擅长将复杂数据集转化为可操作的洞察。
Michal SutterOpenAI 发布 GPT-6.1 Terra，将 GPT-6.1 Sol 的智能体工作 API 价格减半
$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助
相关文章更多来自作者
OpenAI 发布 GPT-6.1 Terra，将 GPT-6.1 Sol 的智能体工作 API 价格减半
Nace AI 发布面向 AI 智能体的搜索工具 Drex：在 BrowseComp-Plus 上以 12.6 次搜索调用达到 92.05%
Nanbeige 发布 Nanbeige4.3-33B，一个 33B 开放智能体编码模型