DaisyRose-27B 发布,提升智能体后训练效率与基准表现
DaisyRose-27B: Pushing the Frontier of Post-Training Efficiency
DaisyRose-27B 发布,在文中列出的所有基准上均超过原始 Qwen3.8-27B,其中 Terminal Bench 4.1 的 pass@1 从 5.6% 升至 12.0%。模型使用约 1,200 个精选任务训练,发布训练在 144 张 H200 上持续数周,共耗费 63,000 GPU-hours。其内部后端实现 37% MFU,相较开源训练器减少 57% GPU 时间,并将端到端训练速度提升约 2×。
正文 · AI 翻译
运行 DaisyRose-27B
我们建议使用 SGLang 和 DSpark 推测解码来部署 DaisyRose-27B。SGLang 指南提供了适用于不同 GPU 和检查点格式的启动配置。
在 30000 端口启动服务器并将所部署的模型名称设为 DaisyRose-27B 后,你可以使用 OpenAI Python 客户端发送请求:
模型默认会先思考再回答。其推理过程返回在 reasoning_content 中,最终答案返回在 content 中。这些设置遵循模型卡片中的快速入门指南。
基准测试结果
DaisyRose-27B 在上述每项基准测试中的得分都高于原始 Qwen3.8-27B 模型。提升最大的是 Terminal Bench 4.1,其 pass@1 从 5.6% 升至 12.0%。
每项基准测试均取 BF16 和 FP8 运行结果中的较高分;在两者均接受评测的情况下,分差都不到一分。模型卡片中包含对比来源和评测设置。
训练设置中的三个部分促成了此次发布:精心设计的任务、高效的训练后端和可靠的沙箱。
高质量训练数据
我们与 Eigent AI 合作构建了这些任务,起点是其在机器学习、软件工程、科学及其他领域积累的大量任务。双方共同构建了数千个候选任务,其中约 1,200 个进入最终训练集。
我们依据三个标准筛选任务:
每项任务都针对原始模型会犯的一种错误。我们让 Qwen3.8-27B 运行每项任务,并围绕希望模型不再犯的错误重新设计各项任务。随后,我们调整难度,直到解决率降至适合学习的有效区间。
每项任务都需要完成多个相互依赖的步骤。智能体必须在一项长时间作业中进行推理、规划和执行。每次尝试在沙箱中最多可运行 1.5 小时,调用工具超过 100 次,输出 token 超过 256K。
任务必须奖励真正解决问题的行为。我们结合模型的尝试逐一审查了所有任务。凡是无需解决预期问题也能通过的任务,或存在设计缺陷的任务,均被修正或移除。
高效的训练后端
RadixArk 使用 Miles,以完全异步模式训练 DaisyRose-27B。Miles 是我们用于大规模模型后训练的开源强化学习框架:智能体在模型学习的同时持续工作,双方都无需等待对方。128 张 H200 负责智能体任务的推理,另外 16 张负责运行训练器并从轨迹中学习。每完成一个步骤,更新后的模型就会分发至运行智能体的 128 张 GPU。学习过程在我们的内部训练后端上运行,该后端专为智能体训练而构建:每个步骤从少量超长会话中学习,其中一些会话长达 1M token,并通过框架摘要被折叠成多条轨迹。
训练成本降低 57%。在此次发布中,使用我们的后端时,每张 GPU 的峰值算力有 37% 用于有效的训练工作,即模型 FLOPs 利用率(MFU)。基于 Megatron 构建的开源训练器在可比运行中达到 16%。因此,完成相同训练所需的 GPU 时间减少了 57%。在混合专家模型上,提升幅度更大:Qwen3.6-35B-A3B 达到 6.2×,而参数规模约为 300B 的 GLM-5.3-Flash 则超过 10×。
端到端速度提升 2×。计入智能体执行任务所花费的时间,此次发布训练在 144 张 GPU 上的总体速度约为每秒 16,800 token。开源训练器在相同 GPU 上约为每秒 8,300 token。
连续数周保持稳定。此次发布训练使用 144 张 H200 持续了数周,总计 63,000 GPU-hours。从第一步到最后一步,其速度和效率始终保持稳定。
此次 DaisyRose-27B 发布训练在 144 张 H200 上的每个训练步骤,按总训练时间绘制。虚线:开源训练器在可比运行中的表现。
稳健的沙箱服务
每次训练尝试都在沙箱中运行:这是任务环境的一个全新副本,智能体可在其中运行命令、编辑文件,随后接受评分。
我们的服务基于开源 AgentENV 项目构建,我们也为该项目贡献了修复。从 9 月中旬到 11 月中旬,该服务为此项目运行了约 944,000 个沙箱,并发运行数量最高达 1,566 个。
该服务从一台机器扩展到最多 12 台。我们为其发布了十次升级,几乎都在训练运行期间完成。在整整九周内,沙箱创建成功率为 99%;自 10 月下旬以来,这一比例已超过 99.95%。
该项目沙箱的云基础设施成本,比通过热门云沙箱提供商运行相同沙箱低约 80%。我们降低成本的一种方式,是让每个沙箱的内存分配随实际使用量动态增减,从而使更多沙箱能够共享每台机器。
试用模型或自行训练
下载 DaisyRose-27B、按照 SGLang 部署指南操作,或使用 Miles 训练你自己的智能体。
我们希望了解 DaisyRose-27B 在你的任务中的表现,包括其不足之处。请在该模型的 Community 标签页分享你的设置和结果。
我们感谢 Eigent AI 在训练数据方面与我们的紧密合作,也感谢 Qwen 团队创建 Qwen3.8-27B。我们还要感谢 Miles 和 SGLang 社区,以及 slime、AgentENV 和 Harbor 等其他开源项目。
改编自 RadixArk 原文。
本文提及的模型 3
RadixArk/DaisyRose-27B
RadixArk/DaisyRose-27B-FP8
RadixArk/DaisyRose-27B-NVFP4
本文提及的模型 3
RadixArk/DaisyRose-27B
RadixArk/DaisyRose-27B-FP8
RadixArk/DaisyRose-27B-NVFP4
AI 热点