先了解这件事
AI 综述
2026年11月10日,Nota AI展示异构GPU-NPU计算环境下的AI推理性能与能效优化技术。据The Elec报道,该方案在AMD Ryzen AI Max+ 395上让NPU处理prefill、GPU执行decode并共享同一份模型权重,使AI推理总响应时间最多缩短52%,每token能耗下降31%。在Qwen3-8B上,总响应完成时间比AMD现有GPU-NPU混合执行环境减少28%至52%,每token生成时间下降41%至46%。在Llama、Qwen、Phi、Mistral等模型测试中,内存占用减少11%至32%,响应生成速度比仅用NPU快2.5至3.8倍。目前尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
Nota 用 AMD GPU-NPU 组合将 AI 推理时间最多缩短 52%事件进展
1 个已确认进展
- 来源:The Elec
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
11月10日
The Elec
Nota 用 AMD GPU-NPU 组合将 AI 推理时间最多缩短 52%
Nota AI 在 AMD Ryzen AI Max+ 395 上通过 GPU 与 NPU 异构分工,将 AI 推理总响应时间最多缩短 52%,每 token 能耗下降 31%。其方案让 NPU 处理 prefill、GPU 执行 decode 并共享同一份模型权重;在 Qwen3-8B 上总响应完成时间比 AMD 现有 GPU-NPU 混合执行环境减少 28% 至 52%,每 token 生成时间下降 41% 至 46%。在 Llama、Qwen、Phi、Mistral 等模型测试中,内存占用减少 11% 至 32%,响应生成速度比仅用 NPU 快 2.5 至 3.8 倍。