←事件详情

热点事件

Amazon推出TorchNeuron开源工具包

12 篇正式报道3 条相关讨论15 条事件动态更新于 10月23日 03:36

先了解这件事

AI 综述

2026年10月19日,Amazon推出TorchNeuron开源工具包,使AWS Trainium成为标准PyTorch设备。据PyTorch博客,该原生后端让模型代码只需改为 .to('neuron') 即可运行,基于PrivateUse1和torch.accelerator扩展点,支持eager、自适应eager与torch.compile,并覆盖DDP、FSDP2、张量并行等分布式API及NKI自定义算子;官方称已在10万个Hugging Face模型上做覆盖测试,计划10月20日以Apache 2.0协议在github.com/aws-neuron/torch-neuronx开放公测。Hugging Face同日发布介绍称,该插件支持eager模式、torch.compile及FSDP2、DTensor等分布式接口,10月20日起公开beta,可通过 pip install torch-neuronx 安装,Transformers、Diffusers、Accelerate、PEFT和TRL可直接在Trainium上运行,无需再经Optimum Neuron;文本生成方面前1

AI 根据公开报道生成

最新动态 · 相关讨论

Amazon Science 参与了这场讨论

事件进展

2 个已确认进展

  1. Google开源发布TorchTPU

    来源:Hugging Face
  2. Amazon推出TorchNeuron工具包

    来源:PyTorch Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月23日

  1. Amazon Science相关讨论

    Amazon Science 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

10月22日

  1. The New Stack相关讨论

    The New Stack 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

  2. The Elec

    Google 与 Amazon 发布 TorchTPU 和 TorchNeuron 挑战 CUDA

    Google 和 Amazon 在 PyTorch Conference 2026 上分别发布开源框架 TorchTPU 和 TorchNeuron,用于把现有 AI 应用从 Nvidia GPU 迁移到自家芯片。Google 称与 Meta 合作开发的 TorchTPU 只需把代码中的设备字符串改为 model.to("tpu"),超过 98% 的现有 PyTorch 模型即可在 TPU 上运行,转换耗时从几分钟到几天不等。AWS 的 TorchNeuron 让 PyTorch 模型直接跑在 Trainium 芯片上,只需把 cuda 换成 neuron,已通过 GitHub 以 Apache 2.0 协议开放公测,并向 PyTorch 主项目贡献代码。

10月21日

  1. @mark_k相关讨论

    @mark_k 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

  2. SiliconANGLE

    Google 发布 TorchTPU,让 PyTorch 应用可直接运行在 TPU 上

    Google 发布 TorchTPU,这是 PyTorch 的一个专用版本,让开发者无需重写底层代码、只需调整少量配置,就能把现有模型和应用迁移到 TPU 上运行。Google 称与 Meta、Hugging Face 以及 vLLM、SGLang 的开发者合作,确保相关代码库兼容;同时推出 TPU agent suite 协助迁移并自动修复错误,并更新端侧工具 LiteRT 以兼容 PyTorch 应用。此前 AWS 也发布了面向自家 Trainium 芯片的 TorchNeuron。

  3. Rohan Paul

    Google 开源 TorchTPU,让 PyTorch 代码可脱离 Nvidia GPU 运行

    Google 开源 TorchTPU,取代 PyTorch/XLA,让 PyTorch 代码可在 TPU 上运行并逐步调试。此前 TPU 通过 PyTorch/XLA 把操作交给编译器排队执行,调试体验与 GPU 不同;TorchTPU 改为按代码逐操作执行以便调试,生产环境再切换到 torch.compile 提速。原文称 TorchTPU 训练 Qwen 3 8B 时用到最高 52% 的 TPU 峰值算力,并提到 Google 与 Amazon 现在都提供原生 PyTorch 后端。

  4. TechCrunch AI

    Google 开源 TorchTPU,让 PyTorch 应用无需重写即可运行在 TPU 上

    Google 宣布开源 TorchTPU,这是其 PyTorch 版本,可让 AI 应用运行在 Google 的 TPU 上,开发者只需修改配置、无需重写代码即可把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。Google 称与 Meta、Hugging Face、vLLM 开发方 Inferact、SGLang 开发方 RadixArk 等合作,确保 TorchTPU 与这些工具兼容,并推出 TPU agent suite 帮助迁移和排错,同时更新了 LiteRT 以更好支持 PyTorch 应用。此前一天,Amazon 也发布了类似版本 TorchNeuron,可将应用迁移到其 Trainium 芯片和 AWS。

  5. PyTorch Blog一手

    PyTorch 基金会新增九家成员,Nebius、Nscale、Shopify 成为白金会员

    PyTorch 基金会宣布新增九家成员,其中 Nebius、Nscale 和 Shopify 为白金会员,LightSeek Foundation 与 Lablup 为银牌会员。此次扩容强化了 PyTorch、vLLM、DeepSpeed、Ray、Helion 和 Safetensors 等项目生态;Shopify 用 PyTorch 与 vLLM 构建持续学习闭环,将服务成本降低 96%。

10月20日

  1. MarkTechPost

    Google 开源 TorchTPU,为 Cloud TPU 提供原生 PyTorch 后端

    Google 开源 TorchTPU,这是与 Meta 的 PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端,在 PyTorch Conference 2026 上宣布,现有代码通过 torch.device("tpu") 即可指向 TPU。Google 团队称 TorchTPU 取代 PyTorch/XLA,建议所有新工作负载使用;它基于 PrivateUse1 接口,提供 Strict、Debug、DeferAndFuse 三种 eager 模式,torch.compile(backend="tpu") 经 StableHLO 和 OpenXLA 编译。TorchTPU 在 PyPI 上为 v0.2.0,要求 Python 3.11+,Apache 2.0 许可,配套 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 仓库;Google 自报 TorchTitan 在 Ironwood 上训练 Qwen 3 8B 达到 52% MFU,可扩展至 8,192 颗芯片。

  2. 钛媒体 · AGI

    Edge AI Daily 早报:Anthropic 450 亿美元算力交易与亚马逊 TorchNeuron

    Anthropic 正洽谈第二笔约 450 亿美元算力交易,涉及西弗吉尼亚 Monarch 园区 460 兆瓦设施与英伟达 Vera Rubin 芯片。AWS 同日发布开源工具 TorchNeuron,改一行配置即可把 PyTorch 代码从英伟达 GPU 迁至 Trainium2 与 Trainium3,以 Apache 2.0 开源并于 10 月 20 日公测。谷歌还开源运行期脚手架 Harness²,不改权重即让 GLM-5 在 WorkBuddy-Bench 上从 64.2 分升至 75.7 分。

  3. SiliconANGLE

    Amazon 推出 TorchNeuron 工具包,让 PyTorch 工作负载跑在 AWS Trainium 芯片上

    Amazon 推出开源工具包 TorchNeuron,开发者只需配置一项设置,即可在 AWS Trainium 芯片上运行 PyTorch 工作负载,无需大量改代码。该工具包支持 Trainium2 和 Trainium3,Trainium3 配备 8 个计算核心和 154GB 片上内存,单台最多容纳 144 颗加速器的服务器在 MXFP8 格式下可达 362 petaflops。TorchNeuron 还支持 TorchTitan 等配套工具,Cartesia AI 已用它运行推理负载,Amazon 计划在圣何塞 PyTorch Conference 首日开源。

  4. Hugging Face一手精选

    Hugging Face 博客介绍 TorchTPU:PyTorch 原生支持 TPU

    Hugging Face 发文介绍 TorchTPU,它为 PyTorch 增加 TPU 后端,在 TPU VM 上一条命令即可安装,不再需要经 PyTorch/XLA 或 Optimum TPU。Transformers v5 传入 device_map="tpu" 即可加载模型,Diffusers 支持 pipe.to("tpu") 和 TensorParallelConfig 分片加载。文中称在 batch size 64 下,Hub 上的 Tokamax ragged-dot kernel 让 Qwen3-30B-A3B 解码快 21.5 倍、Gemma 4 26B-A4B 快 12.8 倍;TPU 上运行的测试通过率 96.5%,已向 TorchTPU 仓库提交 34 个 issue,其中 19 个已修复。

  5. TechCrunch AI

    AWS 发布 TorchNeuron 开发工具,让 PyTorch 应用改一行配置跑上 Trainium

    AWS 发布 TorchNeuron 开发工具,让用 PyTorch 编写的 AI 应用只需改一行配置就能运行在亚马逊自研芯片 Trainium 上,无需重写代码。亚马逊称约 85% 的 AI 应用用 PyTorch 编写,并计划把移除框架与特定芯片绑定代码的改动提交到 PyTorch 上游。AWS Annapurna Labs 技术软件副总裁 Colin Brace 称,语音应用厂商 Deepgram 迁移到 Trainium 后每美元处理的音频量提升 70%。

10月19日

  1. PyTorch Blog一手精选

    PyTorch 发布 TorchNeuron:面向 AWS Trainium 的原生后端

    PyTorch 宣布开源原生后端 TorchNeuron,让 Trainium 成为标准 PyTorch 设备,模型代码只需改为 .to('neuron') 即可运行,10 月 20 日以 Apache 2.0 协议在 github.com/aws-neuron/torch-neuronx 开放公测。该后端基于 PrivateUse1 和 torch.accelerator 扩展点,支持 eager、自适应 eager 与 torch.compile,并覆盖 DDP、FSDP2、张量并行等分布式 API 以及 NKI 自定义算子。官方称已在 10 万个 Hugging Face 模型上做覆盖测试,Hugging Face Transformers v5、Diffusers、vLLM Neuron 等可直接在 Trainium 上使用。

  2. Hugging Face一手精选

    Hugging Face 推出 TorchNeuron,让 HF 模型在 AWS Trainium 上原生运行

    Hugging Face 发布 PyTorch 插件 TorchNeuron,把 Neuron 变成原生设备,支持 eager 模式、torch.compile 以及 FSDP2、DTensor 等分布式接口,2026 年 10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。Transformers、Diffusers、Accelerate、PEFT 和 TRL 可直接在 Trainium 上运行,无需再经过 Optimum Neuron;官方建议 Neuron 用户改用这些库。文本生成方面,前 100 个最常用架构中有 89% 开箱支持,Optimum Neuron v0.4.5 为 46%,只需传入 device_map=neuron。

本事件热度走势

当前
23
区间峰值
47 10月21日 11:00
近 24 小时变化
-22%

移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。

关联事件

  1. 相关事件Meta发布开放权重模型Muse Spark Open
  2. 相关事件Recursive发布开放权重本地编码模型Flint
  3. 相关事件Nvidia发布Nemotron 3.5 Super VL与Bolt模型
  4. 相关事件NVIDIA发布OpenShell参考架构