先了解这件事
事件摘要
还没有公开综述，先看下面的报道时间线。
最新进展 · 正式报道
支撑大规模高效推理的基础研究事件进展
1 个已确认进展
- 来源：Together AI Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月4日
Together AI Blog一手
支撑大规模高效推理的基础研究
Together AI 介绍其通过算法、系统工程和硬件协同优化大规模推理的方法，旨在提升速度与成本效率，同时维持输出质量和可靠性。生产 AI 系统的推理约占全生命周期成本的 80–90%，尽管 GPT-3.5 水平的推理成本曾下降逾 280 倍，总支出仍随用例扩张而增长。其技术包括可实现 1.5–3x 加速的推测解码，以及 ATLAS 和开源 RL 框架 Aurora 所支持的自适应推测解码。