先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
分布感知推测解码将强化学习 rollout 加速最高 50%事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
4月24日
Together AI Blog一手精选
分布感知推测解码将强化学习 rollout 加速最高 50%
Together AI 提出分布感知推测解码(DAS),在不改变模型输出或奖励质量的情况下,将强化学习后训练的 rollout 加速最高 50%。DAS 以近期轨迹构建自适应后缀树,并通过长度感知调度平衡 GPU 负载和推测预算。在数学推理的 DSR-sub 数据集上,rollout 时间减少超过 50%;采用单元测试奖励信号的代码生成任务中减少约 25%。