AI News

Windows 11、RTX Spark 与本地 AI:问题不在我,在 Windows

Thurrott更新于 11月16日 19:22

Windows 11, RTX Spark, and Local AI: It’s Not Me, It’s Windows ⭐

AI 导读

在 RTX Spark 上使用本地 AI 时,每个 AI 应用各自下载和管理模型,不同应用之间无法共享已下载的模型,同一模型会被重复下载。Windows 没有为本地 AI 模型提供统一的存储位置或中间服务,而 Copilot+ PC 上据称有 40 多个本地 AI 模型,由 Windows Update 或 Microsoft Store 更新。RTX Spark 电脑最高 128 GB 内存,大部分可分配给 GPU,重复下载会迅速占用存储。

正文 · AI 翻译

我在RTX Spark上探索使用本地AI时不断遇到问题,我终于弄清楚了问题出在哪里。是Windows。

提醒我一下。Windows的意义到底是什么来着?

当然,这背后涉及很多方面,从为所有应用提供一致的图形界面、应用间内容共享能力,到通过驱动程序实现全局硬件抽象,还有一套带有各种权限的共享文件系统。而当你把文件下载或复制到Windows PC上时,该文件对系统以及所有应用和服务都是可用的。它没有以任何方式被沙箱化或隔离。例如,如果你下载了一个DOCX文件,它不仅对Microsoft Word可用,它只是文件系统中的一个文件。

但本地AI模型的运作方式并非如此。而我完全不知道为什么。

和DLL、DOCX文件以及驱动程序一样,本地AI模型也只是文件,它们确实存在于文件系统的某个位置。微软声称每台Copilot+ PC上都有40多个本地AI模型,但我们很少直面这意味着什么。它算是一种黑箱。这些模型被藏在某处,并根据模型的不同,由Windows Update或Microsoft Store更新。而微软在这些PC上提供的任何应用和服务都知道如何找到并使用这些模型。

这些模型在文件系统中的位置通常不应该对用户有影响,尽管我相信稍加研究就能找到它们的位置。重要的是,需要使用本地AI模型的软件能够找到它们。而且按理说,这些模型应该有一个正式的存储位置,或者有某个系统服务充当模型与需要它们的软件之间的中间人。

并没有。

这在实践中意味着,你可以安装你选定的AI应用——Hermes、LM Studio、Clairvoyance、Windows Llama或其他任何应用——使用该应用的AI模型浏览功能找到并下载一个模型,然后在该应用中使用它。但如果你安装并使用另一个AI应用,它无法看到你已经用第一个应用下载的模型。所以如果你想使用同一个模型,你就会下载两次。而随着这些本地模型体积不断膨胀,这会很快成为问题,尤其是在RTX Spark电脑上,这类电脑最高可配备128 GB内存,并可将其中大部分分配给与这些模型交互的GPU。

想一想这一点。尤其是现在,在这个世界快速演变的当下,你会想要尝试不同的AI应用、不同的AI运行时,尤其是不同的模型。你会在这些东西之间来回切换、不断试验,一边操作一边下载和重新下载AI应用与模型。用不了多久,这些活动产生的数字垃圾就会开始占据PC的存储空间。

于是你可能想要清理一番。如果你知道模型存放在哪里,这会更容易。而且尽管有可能(很可能?)卸载一个……

来源

Thurrott