先了解这件事
AI 综述
2025年2月10日,Answer.AI 推出 ModernBERT-Large-Instruct。该模型在 ModernBERT-Large 基础上采用 FLAN 风格指令微调,让 MLM head 直接完成分类与多选题任务,无需任务专用 head 或架构改动。据 Answer.AI 官方研发博客,在 MMLU-Pro 上它超过 Qwen2.5-0.5B、SmolLM2-360M 等所有 sub-1B 模型,并接近参数量 3 倍的 Llama3-1B;在 NLU 任务上微调后也能匹配或超过传统分类 head。模型已在 HuggingFace 开放。目前没有后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Answer.AI 官方研发博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
2月10日
Answer.AI 官方研发博客一手
Answer.AI 推出 ModernBERT-Large-Instruct：用 MLM head 实现零样本分类
Answer.AI 发布 ModernBERT-Large-Instruct，在 ModernBERT-Large 基础上用 FLAN 风格指令微调，让 MLM head 直接完成分类与多选题任务，无需任务专用 head 或架构改动。在 MMLU-Pro 上它超过 Qwen2.5-0.5B、SmolLM2-360M 等所有 sub-1B 模型，并接近参数量 3 倍的 Llama3-1B；在 NLU 任务上微调后也能匹配或超过传统分类 head。模型已在 HuggingFace 开放。