Nota 用 AMD GPU-NPU 组合将 AI 推理时间最多缩短 52%
Nota Cuts AI Inference Time by Up to 52% Using AMD GPU-NPU Combination
Nota AI 在 AMD Ryzen AI Max+ 395 上通过 GPU 与 NPU 异构分工,将 AI 推理总响应时间最多缩短 52%,每 token 能耗下降 31%。其方案让 NPU 处理 prefill、GPU 执行 decode 并共享同一份模型权重;在 Qwen3-8B 上总响应完成时间比 AMD 现有 GPU-NPU 混合执行环境减少 28% 至 52%,每 token 生成时间下降 41% 至 46%。在 Llama、Qwen、Phi、Mistral 等模型测试中,内存占用减少 11% 至 32%,响应生成速度比仅用 NPU 快 2.5 至 3.8 倍。
正文 · AI 翻译
Nota CTO Tae-ho Kim 在 AMD Advancing AI World Tour Seoul 2026 上发表演讲。(照片:Nota AI)
PC본문_6월 Mouser(文章中)//
AD Manager | AD178089411676 //
// AD Manager | AD178089411676
专注于 AI 模型轻量化与优化的公司 Nota AI 在 AMD Advancing AI World Tour Seoul 2026 上展示了在异构 GPU-NPU 计算环境中 AI 推理性能与能效方面的技术进展。
Nota 表示,其使用 AMD Ryzen AI Max+ 395 处理器进行的内部测试显示,总响应时间最多缩短了 52%,而每 token 的能耗下降了 31%。该公司于 7 月加入了 AMD 的机器人合作伙伴网络。
在此次活动上展示的 Nota 推理优化技术,将计算工作负载分配到 AMD Ryzen AI Max+ 395 处理器中的 GPU 和 NPU 之间。它将推理过程分离,使 NPU 负责 prefill(为 AI 模型处理输入信息),而 GPU 执行 decode(生成响应)。
Nota 强调,其优化使两个处理单元能够共享同一份 AI 模型权重,从而减少冗余内存占用并提升执行效率。据该公司称,使用阿里巴巴开放权重的 Qwen3-8B 模型进行的测试显示,与 AMD 现有的 GPU-NPU 混合执行环境相比,总响应完成时间减少了 28% 至 52%。每 token 能耗下降了 31%,而每 token 生成时间下降了 41% 至 46%。
该公司还展示了验证将基于 AI 智能体的优化流程应用于其 NetsPresso AI 模型优化平台后所带来性能提升的结果。该技术利用 AI 智能体分析模型与硬件特征、制定优化策略、在实际设备上验证性能并自动改进结果。
在 AMD Ryzen AI 环境中涉及 Llama、Qwen、Phi 和 Mistral 等多种语言模型的测试显示,与 AMD 现有的混合执行环境相比,Nota 将内存占用减少了 11% 至 32%。响应生成速度比仅使用 NPU 执行快 2.5 至 3.8 倍。
Nota 表示,正在将其优化技术扩展到整个执行环境,包括运行时和 GPU 内核。“在多个语言模型和硬件环境中验证了性能提升后,我们预计将把我们的技术应用扩展到包括 AI PC 和机器人在内的各个领域。”