先了解这件事
2026年10月22日,LMSYS与AWS合作发布SGLang Trainium插件Beta,该插件基于新发布的TorchNeuron构建,在Trainium2和Trainium3上支持LLM推理服务与RL rollout生成。初始覆盖Qwen3(dense)、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4和GLM-5.2/5.3,并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8和异步调度。首次端到端异构RL运行中,SGLang在Trainium3上为Qwen3-MoE-30B-A3B生成rollout,Miles在单台H200节点上用Megatron训练GRPO策略。Beta目前仅限少量团队参与。次日,Amazon宣布开源TorchNeuron,这是一个把PyTorch代码转换为可在AWS Trainium上执行的操作的后端,已在其他加速器上运行的PyTorch代码几乎无需改动即可迁移。
AI 根据公开报道生成
事件进展
2 个已确认进展
- 来源：Amazon Science
- 来源：LMSYS Blog
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月23日
Amazon Science一手
Amazon 发布 TorchNeuron：面向 AWS Trainium 的 PyTorch 后端
Amazon 本周宣布开源 TorchNeuron，这是一个把 PyTorch 代码转换为可在 AWS Trainium 上执行的操作的后端，已在其他加速器上运行的 PyTorch 代码几乎无需改动即可迁移。它提供可选的 adaptive eager 模式，将操作分组编译并多级缓存 NEFF，在跨加速器的大语言模型测试中把首个训练步的时间缩短约三分之一。团队还用 AI 智能体扫描 Hugging Face 仓库，筛出 841 个代表性模型和数万个张量 shape，构建分层测试流程。
10月22日
LMSYS Blog一手
LMSYS 发布 SGLang AWS Trainium 插件 Beta
LMSYS 与 AWS 合作发布 SGLang Trainium 插件 Beta，基于新发布的 TorchNeuron 构建，在 Trainium2 和 Trainium3 上支持 LLM 推理服务与 RL rollout 生成。初始覆盖 Qwen3（dense）、Qwen3-MoE-30B-A3B、DeepSeek-V2-Lite、GLM-4 和 GLM-5.2/5.3，并支持数据并行、张量并行、专家并行、Radix Cache、BF16/FP8 和异步调度。首次端到端异构 RL 运行中，SGLang 在 Trainium3 上为 Qwen3-MoE-30B-A3B 生成 rollout，Miles 在单台 H200 节点上用 Megatron 训练 GRPO 策略。Beta 目前仅限少量团队参与。
本事件热度走势
- 当前
- 7
- 区间峰值
- 15 10月23日 05:00
- 近 24 小时变化
- -50%
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。