SemiAnalysis 实测 Trainium3 的 PyTorch 训练与 Neuron Explorer 剖析器
SemiAnalysis 工程团队在 Trainium3 上实测了原生 PyTorch 训练栈 TorchNeuron 与 TorchTitan,用 Qwen3-32B 在 16 颗 Trainium2 上训练,eager 模式达 11,099 tokens/s、23.89% MFU,compiled 模式达 14,156 tokens/s、30.47% MFU。作者认为 Neuron Explorer 剖析器优于 Nvidia 和 AMD 的方案,但首次编译耗时过长,gpt-oss 训练配方首步编译用了 27 分 17 秒。FlexAttention 测试通过 96 个用例中的 89 个,7 个失败均因编译超时而非数值错误。
证明了自己。Anthropic正在Trainium2和Trainium3上运行生产推理和RL rollout。从历史上看,Trainium在推理方面表现出色,但并非研究训练的最佳选择。在推理中,模型架构的变化速度比训练慢得多;在训练中,研究人员会对模型架构进行大量不同的实验和消融,需要一个覆盖广泛API表面的技术栈。过去,这正是Trainium的短板所在。 AWS Neuron团队正积极努力改变这一缺陷,最大的转变是迈向一流的原生PyTorch训练体验。在训练循环中到处撒xm.step()、与定制的XLA式执行模型较劲的日子已经一去不复返。Trainium现在以PyTorch用户所期望的方式运行PyTorch——eager模式,配合torch.compile和标准API。 SemiAnalysis工程团队过去几周一直在试用Trainium3机架,发现体验很棒——我们很喜欢它整体的发展方向。需要说明的是,它还不完美,我们自己也遇到了几个bug。它远未达到CUDA生态的成熟度,但方向是对的。他们的团队借助智能体编码正在快速推进。 此外,与其他加速器公司不同——我们曾不得不费尽周折才能让他们
匹配字段正文


