先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Aurora:从实时推理轨迹持续学习的开源推测解码框架事件进展
1 个已确认进展
- 来源:Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
3月31日
Together AI Blog一手精选
Aurora:从实时推理轨迹持续学习的开源推测解码框架
Together AI 发布 Aurora,通过强化学习从实时推理轨迹持续更新推测解码的草稿模型,相比训练良好的静态模型额外加速 1.25x,更新期间不中断服务。在涵盖五个领域的 40,000 条提示词混合流实验中,从零开始在线训练的接受长度达 3.08,高于静态基线的 2.63 和预训练后微调方案的 2.99,吞吐量稳定在 302.3 tokens/s。