先了解这件事
AI 综述
2026年5月27日,Sakana AI 提出名为 DiffusionBlocks 的逐块训练框架,并发布相关论文。该方法将神经网络拆分为多个块并逐块独立训练,训练时只需保留单个块的内存,从而大幅降低显存需求。其把网络前向传播类比为扩散模型逐步去噪,每个块只需优化自身目标。论文已被 ICLR 2026 接收,并在 ViT、DiT、掩码扩散、自回归 Transformer 和循环深度 Transformer 五种架构上验证,性能与端到端训练相当,还可替代循环深度 Transformer 中昂贵的 BPTT。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
Sakana AI 提出 DiffusionBlocks：逐块训练神经网络事件进展
1 个已确认进展
- 来源：Sakana AI：Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
5月27日
Sakana AI：Blog一手
Sakana AI 提出 DiffusionBlocks：逐块训练神经网络
Sakana AI 发布论文 DiffusionBlocks，将网络拆分为多个块并逐块独立训练，训练时只需保留单个块的内存，从而大幅降低显存需求。该方法把网络前向传播类比为扩散模型逐步去噪，每个块只需优化自身目标。论文已被 ICLR 2026 接收，在 ViT、DiT、掩码扩散、自回归 Transformer 和循环深度 Transformer 五种架构上验证，性能与端到端训练相当，并可替代循环深度 Transformer 中昂贵的 BPTT。