←新闻详情

Thurrott更新于 10月28日 10:39

RTX Spark 本地 AI 编程实测:反复尝试仍未找到稳定可复现的方案

RTX Spark: Local AI Coding Fails, I’ve Had (More Than) a Few ⭐

AI 导读

作者在 RTX Spark 上多日尝试本地 AI 编程,始终没能找到稳定可复现的流程。他测试了 Hugging Face 随 RTX Spark 一同发布的 Llama Windows——llama.cpp 的图形前端,但本地模型版本与尺寸选择、开发环境报错等负担全落在用户身上。目前只有通用聊天场景算小幅成功。

正文 · AI 翻译

我已经花了很多天——太多天了——试图在 RTX Spark 上找到一种始终稳定且好用的本地 AI 编程体验。虽然我在这里那里取得过一些小小的胜利,但到目前为止,从某种意义上说,我除了失败什么都没做成,因为我想要的是一个始终有效的可复现流程。

当我开始测试 RTX Spark 电脑时,我以为我会很快走遍几个不同的本地 AI 用例,比如通用使用、软件开发、创意(图像、视频等)、生产力、智能体,以及其他种种。通用使用,也就是像使用任何 AI 聊天机器人那样使用本地 AI,是很直接的——就像我在《RTX Spark:真实世界的本地 AI ⭐》中提到的托尔金书籍和墨西哥城行程——虽然那是一次不大但不错的成功,但我真的卡在了软件开发这一块。

原因有很多,其中包括有些 AI 前端和/或本地 AI 模型会直接使用(并在必要时安装和配置)完成任务所需的任何应用、框架和其他技术,而另一些则只会给你源代码,让你自己复制粘贴到 Visual Studio 或其他什么地方。前一种做法不仅更优越,而且是必需的,因为如果你要充当 AI 和你的开发环境必然会抛出的众多错误之间的中间人,无论项目多么简单,这个过程都完全无法进行。

但还不止如此。本地 AI 模型通常有多个版本,每个版本都有自己的质量/版本和模型大小选择。如果你想要一个适合软件开发的本地模型,它能自己安装、配置并使用所有相关的开发者工具,而且还能在你的特定硬件上良好运行,那么,这得靠你自己。真的,从头到尾全靠你自己。

所以我一直在大量实验。而且,说清楚一点,也一直在大量失败。今天早上,似乎是第无数次了,我决定再试一次,并且再次更换我使用的工具和模型。这基本上就是我过去几周几乎每天都在做的事。

今天的实验是:LLama Windows 以及一系列模型选择,还有一个让你间接感受这种痛苦的机会。

你可能还记得,Hugging Face 把 Llama Windows 的发布时机安排在了本月早些时候 RTX Spark 电脑上市之时。它是 llama.cpp 开源 AI 推理引擎的图形前端,而 llama.cpp 是 LM Studio Bionic 和 Ollama 等热门本地 AI 应用所使用的事实标准。这一点很重要,因为 llama.cpp 是一个命令行界面(CLI),大多数人会觉得使用起来很复杂。

你可以在 GitHub 上找到 llama.cpp,如果你心情好得过头,它是个合适的选择。在 Windows PC 上,你当然要从命令行安装 llama.cpp,但奇怪的是,你并不使用 Windows 包管理器(winget);相反,你要在 PowerShell 中使用 Invoke-RestMethod 命令,或者更……

来源

Thurrott