百度开源文心5.5 Flash Base，多基准测试刷新同尺寸模型 SOTA
AI 导读
百度于11月5日正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用MoE架构，总参数量2800亿，每个Token激活140亿参数。模型使用33.5万亿个Token完成预训练，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。官方称其在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸模型SOTA，超过DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型。
正文
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用MoE架构，总参数量2800亿，每个 Token 激活140亿参数，使用33.5万亿个 Token 完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万 Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。
本文由百度提供，量子位获授权转载，观点归原作者所有。