AI 热点

Unsloth 与 AMD 合作支持在 AMD NPU 上运行本地模型推理

Unsloth更新于 11月19日 23:07

We collaborated with @AMD to bring local model inference to AMD NPUs.

AI 导读

Unsloth 与 AMD 合作,将本地模型推理带到 AMD NPU,并称其功耗比传统 GPU 低 2–4×。相关支持覆盖 Strix、Gorgon、Krackan 等平台,博客链接为 https://t.co/hqa2Gdecof。

推荐理由

AI 评分 51

合作将本地模型推理扩展到 AMD NPU,并以较低功耗为端侧部署提供了新的硬件路径。

主题

标签

引用

AMD

@AMD

AMD XDNA 2 NPU 是全球首款获得 @UnslothAI Desktop 支持的 NPU。100 多款智能体应用,现在可在你的 NPU 上运行。https://t.co/fGq3hxLgji https://t.co/Fazynp62Od

查看原文

AMD XDNA 2 NPUs are the world's first NPUs supported by @UnslothAI Desktop. 100+ agentic apps. Now on your NPU. https://t.co/fGq3hxLgji https://t.co/Fazynp62Od

查看原帖

正文

We collaborated with @AMD to bring local model inference to AMD NPUs. NPUs deliver powerful compute performance while using 2–4× less power than traditional GPUs.

We teamed up to enable running models with less power! Strix, Gorgon, Krackan & more.

Blog: https://t.co/hqa2Gdecof https://t.co/FuTtCOJI5B

来源

Unsloth