AWS团队提出priming方法降低混合架构预训练成本

先了解这件事

AI 综述

2026年10月13日,Amazon Web Services团队提出priming方法,相关论文题为《Priming: Hybrid state space models from pre-trained Transformers》。该方法复用预训练Transformer权重初始化混合架构,据Amazon Science发布的信息,可将混合架构的预训练成本降低99%以上。在受控对比中,Gated KalmaNet(GKA)表现优于Gated DeltaNet(GDN)和Mamba-2;基于GKA的32B混合模型在推理基准上与源Transformer持平,128K上下文下解码速度最高提升至2倍。团队以Apache 2.0协议开源了8B和32B的混合模型、训练代码、优化内核及vLLM服务插件。目前尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道10月13日 01:36

AWS 提出 priming 方法：用预训练 Transformer 权重初始化混合状态空间模型

事件进展

1 个已确认进展

10月13日 · 1 篇报道
AWS团队提出priming方法降低混合架构预训练成本
来源：Amazon Science

报道与讨论时间线

按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。

10月13日

01:36
Amazon Science一手精选
AWS 提出 priming 方法：用预训练 Transformer 权重初始化混合状态空间模型
AWS 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法，复用预训练 Transformer 权重初始化混合架构，将混合架构的预训练成本降低 99% 以上。在受控对比中，Gated KalmaNet（GKA）表现优于 Gated DeltaNet（GDN）和 Mamba-2，基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 持平，128K 上下文下解码速度最高提升至 2 倍。团队以 Apache 2.0 协议开源了 8B 和 32B 的混合模型、训练代码、优化内核及 vLLM 服务插件。