AI News

热点事件

Nota AI展示GPU-NPU异构推理优化技术

1 篇正式报道1 条事件动态更新于 11月10日 13:08

先了解这件事

AI 综述

2026年11月10日,Nota AI展示异构GPU-NPU计算环境下的AI推理性能与能效优化技术。据The Elec报道,该方案在AMD Ryzen AI Max+ 395上让NPU处理prefill、GPU执行decode并共享同一份模型权重,使AI推理总响应时间最多缩短52%,每token能耗下降31%。在Qwen3-8B上,总响应完成时间比AMD现有GPU-NPU混合执行环境减少28%至52%,每token生成时间下降41%至46%。在Llama、Qwen、Phi、Mistral等模型测试中,内存占用减少11%至32%,响应生成速度比仅用NPU快2.5至3.8倍。目前尚无后续进展。

AI 根据公开报道生成

最新进展 · 正式报道

Nota 用 AMD GPU-NPU 组合将 AI 推理时间最多缩短 52%

事件进展

1 个已确认进展

  1. Nota AI展示GPU-NPU异构推理优化技术

    来源:The Elec

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月10日

  1. The Elec

    Nota 用 AMD GPU-NPU 组合将 AI 推理时间最多缩短 52%

    Nota AI 在 AMD Ryzen AI Max+ 395 上通过 GPU 与 NPU 异构分工,将 AI 推理总响应时间最多缩短 52%,每 token 能耗下降 31%。其方案让 NPU 处理 prefill、GPU 执行 decode 并共享同一份模型权重;在 Qwen3-8B 上总响应完成时间比 AMD 现有 GPU-NPU 混合执行环境减少 28% 至 52%,每 token 生成时间下降 41% 至 46%。在 Llama、Qwen、Phi、Mistral 等模型测试中,内存占用减少 11% 至 32%,响应生成速度比仅用 NPU 快 2.5 至 3.8 倍。

关联事件

  1. 相关事件TorqueAGI CEO称其世界推理模型可用至多千分之一数据学习新任务
  2. 相关事件千问发布Qwen4-Max预览版
  3. 相关事件XHEART新芯航途发布大模型芯片X7 Ultra
  4. 相关事件天数智芯天垓300首次面向媒体开放实机演示