百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基础模型
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布开源基础模型 ERNIE-5.5-Flash-Base，刻意不做微调和后训练，由开发者自行决定后续方向，后训练版本后续推出。该模型采用 MoE 架构，总参数 2800 亿、每次输入激活 140 亿，预训练使用 33.5 万亿 token，训练上下文最高 128000 token，设计上支持微调与推理时最高 100 万 token 上下文。百度称其在推理、代码和长上下文基准上与 DeepSeek V4 Flash、MiMo V2.5 等同规模开源基础模型竞争，权重已在 Hugging Face 以 FP8 和 BF16 提供。
正文 · AI 翻译
百度的 AI 发展仍在继续，但大部分工作要由你来完成。这家中国公司发布了 ERNIE-5.5-Flash-Base，这是一个开源基础模型，刻意不附带微调或后训练。开发者需要自行决定将模型带向何方。后训练版本预计随后推出。
ERNIE 5.5 采用混合专家架构，拥有 2800 亿参数，其中每次输入激活 140 亿参数。该模型在 33.5 万亿 token 上进行了预训练，训练上下文最高达 128,000 token，不过其设计支持在微调和推理时最高一百万个 token 的上下文。
据百度称，在推理、代码和长上下文任务的基准测试中，该模型与 DeepSeek V4 Flash 或 MiMo V2.5 等规模相近的开源基础模型竞争。权重已在 Hugging Face 上以 FP8 和 BF16 格式提供。