先了解这件事
AI 综述
2026年10月1日,UCSD Hao AI Lab 发布消息称,UniServe 对 Ulysses 进行重构,按注意力头切分 Q/K/V/gate 权重,并采用分块 all-gather 方式获取更窄的隐藏状态,在每个分块到达时进行投影。该消息同时称,这一改动使输入集合通信的数据量减少 25%,投影权重从每 GPU 14.4 GiB 降至 3.6 GiB。目前该事件尚无后续发展事实,状态停留在上述重构发布。
AI 根据公开报道生成
最新进展 · 正式报道
UniServe 重构 Ulysses：投影权重降至 3.6 GiB事件进展
1 个已确认进展
- 来源：UCSD Hao AI Lab
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月1日
UCSD Hao AI Lab一手
UniServe 重构 Ulysses：投影权重降至 3.6 GiB
(6/13) Ulysses 重构：UniServe 按注意力头切分 Q/K/V/gate 权重，分块 all-gather 更窄的隐藏状态，并在每个分块到达时进行投影。 输入集合通信的数据量减少 25%，投影权重从每 GPU 14.4 GiB 降至 3.6 GiB。https://t.co/CC2AfwMdz8