AWS 提出 priming 方法:用预训练 Transformer 权重初始化混合状态空间模型
AWS 团队在论文《Priming: Hybrid state space models from pre-trained Transformers》中提出 priming 方法,复用预训练 Transformer 权重初始化混合架构,将混合架构的预训练成本降低 99% 以上。在受控对比中,Gated KalmaNet(GKA)表现优于 Gated DeltaNet(GDN)和 Mamba-2,基于 GKA 的 32B 混合模型在推理基准上与源 Transformer 持平,128K 上下文下解码速度最高提升至 2 倍。团队以 Apache 2.0 协议开源了 8B 和 32B 的混合模型、训练代码、优化内核及 vLLM 服务插件。
匹配字段标题、摘要