Hugging Face 发布 14.8B 开源 DNA 语言模型 Carbon-X

在 Google 上添加为首选来源

Hugging Face 发布了 Carbon-X，这是一个拥有 14.8B 参数的开源 DNA 语言模型。Carbon-X 是来自 Hugging Face Bio 的 decoder-only 模型。它在对话中读取原始 DNA，并用英文作答。它能预测突变是良性还是致病性、标记调控区域、对生物体进行分类并预测下一个碱基。权重以 Apache 2.0 许可发布，因此实验室可以将敏感序列保留在自己的 GPU 上。Hugging Face 与中关村学院以及 TIGEM / 那不勒斯费德里科二世大学合作构建了它。

TL;DR

规模：14.8B 参数（稠密，无 MoE），40,960 token 上下文。

运行于：通过 vLLM 或 Transformers 以 bfloat16 在 1 张 80 GB GPU 上运行。官方 GGUF：Q8_0 为 15.8 GB，Q4_K_M 为 9.6 GB。

性能：在 5 项 DNA 基准上平均 66.7%，是所有测试过的开源模型中最好的（自报）。

最佳：在 BioReason Coding 上为 74.9%，领先于所有测试过的模型，无论开源还是闭源。

最差：在 GenomeQA 剪接位点问题上为 29.8%。

什么是 Carbon-X，它如何工作？

Carbon-X 从 Qwen3-14B 起步。DNA 和文本在 1 个 decoder 中共享 1 个 token 流。与 BioReason 等早期工作不同，没有单独的 DNA 编码器。

TEXTTABLELAYOUT你的 PDF 解析器真的解析正确了吗？omni_parse_bench · 对文本、表格和布局评分 · 开源在 GitHub 上加星→赞助

关键的结构部分是混合 tokenizer。它保留 Qwen3 用于文本的 BPE 词表，并新增 5,515 个 DNA token。其中包括 4,096 个不重叠的 6-mer、1,364 个尾部 token 和 3 个标记。一个 DNA token 覆盖 6 个碱基对。长度为 6 个或更多 A/C/G/T 碱基的 DNA 片段会被自动标记。

主干是标准的 Qwen3 堆栈。它有 40 层、隐藏维度 5120，以及带 8 个 KV 头的 GQA。

Carbon-X 是如何训练的？

根据模型卡，训练分四个阶段进行：

Embedding 预热：约 10B token，transformer 冻结，因此只有新的 DNA embedding 在学习。

中期训练：302B token，序列长度为 8,192。混合比例为 55% 原始 DNA、20% 英文、15% 生物学文本和 10% 指令数据。

SFT：在 20 个数据集子集上训练 3 个 epoch，响应由与领域专家共同构建的确定性验证器检查。

RL：使用 TRL 和 vLLM，进行 2 轮带可验证奖励的异步 GRPO。

根据发布文章，学习率是最难调的参数。高学习率学会了 DNA，但忘记了英文。较低的学习率、14B 模型和长时间运行解决了这一权衡。直接将 RL 应用于 Qwen3-14B 在 FrontierVEP 上从未超过 50% 的随机基线。

Carbon-X 在 DNA 基准上表现如何？

所有分数均由 Hugging Face 自报。Carbon-X 在禁用思考的情况下运行。竞争对手以其最佳推理努力运行。

基准Carbon-XGPT-6.1 Sol (Max)Opus 5.5 (Max)Kimi K3 (Low)

BioReason Coding74.971.070.353.9

BioReason Non-SNV85.191.794.865.3

GenomeQA63.667.262.252.0

NextBase39.432.91.130.6

FrontierVEP70.474.976.250.1

平均66.767.560.950.4

Carbon-X 比 Qwen3-14B 高 27 分，比 GPT-6.1 Sol 低 0.8 分。它在编码变异效应和下一碱基预测上领先。前沿模型在复杂变异和单碱基变异上仍然胜出。

拒答影响了这些数字。在 NextBase 上，随着拒答增加，Opus 5.5 从低努力时的 17.7% 降至最高努力时的 1.1%。在 FrontierVEP 上，随着努力增加，Gemini 4 Argon 从 58% 降至 38%。

Carbon-X 还保留了通用技能：在 IFEval 上提示级严格准确率为 79.3%。

Carbon-X 的运行成本是多少？

Hugging Face 根据在 H200 上实测的吞吐量，将 Carbon-X 定价为每小时 5 美元。在此基础上，它报告每个问题的推理成本约为 GPT-6.1 Sol 的 1/1,800。对 240 万个 ClinVar 意义不明变异进行评分将花费约 300 美元。同样的任务在前沿模型上花费 32,000 至 400 万美元。

Carbon-X 还可以作为子代理工作。当 Kimi K3 咨询 Carbon-X 时，其 DNA 指数从 49.4% 升至 60.5%。

如何部署 Carbon-X？

vLLM：在 1 张 80 GB GPU 上运行 vllm serve HuggingFaceBio/Carbon-X --trust-remote-code。

Transformers：v5 或更高版本，DNA tokenizer 需设置 trust_remote_code=True。

llama.cpp：官方 Carbon-X-GGUF 仓库需要 llama.cpp b11742 或更新版本。较旧的构建会错误地对 DNA 进行 tokenize。

代理：该仓库附带一个 OpenAI 风格工具、一个 Inspect 代理和一个用于编码代理的 carbon-dna 技能。

保持 enable_thinking=False。模型是以这种方式进行后训练和评估的。

Carbon-X 与其他 DNA 模型和通用模型相比如何？

特性Carbon-XQwen3-14BGPT-6.1 SolEvo 2 40B

开发者Hugging Face + 合作伙伴阿里巴巴 QwenOpenAIArc Institute

参数14.8B14.8B未披露40B

上下文40,960 token32,768 原生，使用 YaRN 为 131,072未披露最高 1M 序列长度

输入DNA + 英文文本文本（通用）仅 DNA

用英文作答是是是否

许可证Apache 2.0Apache 2.0专有，仅 APIApache 2.0

DNA 平均（HF 评估）66.7%~40.0%67.5% (Max)未评估

BioReason Coding74.9%未披露71.0%未评估

价格开放权重开放权重每 100 万输入/输出 token 2 / 10 美元开放权重

关键要点

Carbon-X 是一个 14.8B 的开源模型，可读取 DNA 并用英文作答。

它在 5 项 DNA 基准上平均为 66.7%，落后 GPT-6.1 Sol 0.8 分。

它在 BioReason Coding（74.9%）和 NextBase（39.4%）上领先所有测试过的模型。

它可在 1 块 80 GB GPU 上运行，或使用 15.8 GB 的 Q8_0 GGUF 运行。

剪接位点准确率为 29.8%，且尚未经过临床验证。

Asif Razzaq网站 | + 文章数简介 ⮌

Asif Razzaq斯坦福大学和加州大学伯克利分校的研究人员推出 TokenGate：Token 门控注意力使长上下文预填充速度最高提升 11.3 倍

Asif RazzaqNVIDIA 发布 Nemotron 3.5 Bolt E4B 4GB：一款面向本地语音代理、游戏角色和机器人的开放小型语言模型

$uv pip install omni-parse-bench✓文本✓表格✓布局→ 按页评分在 GitHub 上加星→赞助

Hugging Face 发布 14.8B 开源 DNA 语言模型 Carbon-X

推荐理由

主题

标签

正文 · AI 翻译