事件1 条新闻 · 1 个事实
i14 将其自定义架构迁移到 AWS Trainium2。2026 年 10 月 21 日,AWS Machine Learning 发布的信息显示,i14 与 AWS 合作,使用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B 模型。单台 trn2.48xlarge 的训练吞吐约为 120,000 tokens/s;该模型每序列循环状态固定为 29.5 MB,不随上下文长度增长;推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all_to_all 通信改造,将每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。目前尚无后续发展事实。
i14 将其自定义架构迁移到 AWS Trainium2。2026 年 10 月 21 日,AWS Machine Learning 发布的信息显示,i14 与 AWS 合作,使用 TorchNeuron Native 在 AWS Trainium2 上训练并部署了基于 Gated Linear Attention 的 Laplace 3B 模型。单台 trn2.48xlarge 的训练吞吐约为 120,000 tokens/s;该模型每序列循环状态固定为 29.5 MB,不随上下文长度增长;推理在 1,280 并发序列下达到 11,544 output tokens/s。团队还通过 Muon 的 all to all 通信改造,将每卡通信量降低 24 倍、训练吞吐提升 1.63 倍。目前尚无后续发展事实。
匹配字段标题