百度发布 ERNIE-5.5-Flash-Base 基座模型,280B 总参数、14B 激活
ERNIE 5.5 Flash Base · ERNIE
AI 导读
百度 ERNIE 团队发布 ERNIE-5.5-Flash-Base,这是稀疏 MoE 语言模型,总参数 280B、每 token 激活 14B,在 33.5T token 上从零预训练,训练上下文最高 128K,微调与推理支持 1M token 上下文。发布的权重为预训练结束时的检查点,未经过中训练或后训练,以 FP8 和 BF16 safetensors 形式在 Hugging Face 开放,可用于领域适配、指令微调和强化学习研究。官方与 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 用同一评测框架对比,MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1。
推荐理由
AI 评分 70
百度开源 280B 总参数、14B 激活的 MoE 基座权重,并给出与三个同级基座模型的同口径评测对比。
主题
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。