←新闻详情

The New Stack更新于 10月25日 23:30

在微软 Surface Laptop Ultra 上运行本地 AI 模型:实测发现

Running local AI models on Microsoft’s Surface Laptop Ultra: What we found

AI 导读

The New Stack 实测微软 Surface Laptop Ultra(Nvidia N1X 平台、Blackwell RTX GPU、64GB 内存、4300 美元配置)运行本地 AI 模型:Nemotron 3.5 Bolt 达 56-60 tokens/s,8-bit Qwen 3.8 27B 仅 8-9 tokens/s,降至 4-bit 后回升至 25-28 tokens/s。拔电后 AI 负载性能下降约 20%-25%,与微软宣称的保留 99.6% 不符。

正文 · AI 翻译

微软正将全新的 Surface Laptop Ultra 定位为面向创意人士和开发者——尤其是 AI 开发者——的 Apple MacBook Pro 替代品。

它基于 Nvidia 的 N1X RTX Spark 平台打造,搭载 Blackwell RTX GPU(最高 6,144 个核心)、最高 20 核的 CPU、最高 128GB 统一内存,而且价格低于 Apple,因此如果你想运行本地 AI 模型,同时又想要一台能随时随地剪辑视频和玩游戏的强大机器,它是一个颇具吸引力的选择。

这里是 The New Stack,所以游戏基准测试和创作者使用场景我留给其他人来做。我在测试这台机器时的重点是运行 AI 工作负载。

过去一周,我一直在使用 Surface Laptop Ultra 的高端配置(GPU 和 CPU 合计 4,300 美元,配备 64GB 内存和 1TB SSD),包括在出差途中使用。

通常,我在家里使用搭载 M4 Max 芯片的 Mac Studio,它能轻松运行我交给它的大多数本地模型(只要它们能装进 48GB 内存)。我在笔记本上安装了我用来运行本地模型的所有常用工具,比如 Unsloth Studio、Ollama、Hermes Agent 等。

在笔记本上运行这些工具时,我从未觉得自己在做任何妥协。事实上,Blackwell GPU 总体上甚至比我的 Mac Studio 还略快一些。

快速的本地推理(前提是选对模型)

由于新的 Nemotron 3.5 Bolt 模型本周早些时候发布,我也试用了它。它以令人印象深刻的每秒 56 到 60 个 token 的速度回答查询——有时甚至更快。这使得它非常适合在 Hermes Agent 或 OpenCode 等工具中运行。当然,它是一个高度量化的模型,只有 9B 活跃参数,所以速度快也在意料之中。

然而,尽管这台笔记本拥有足以运行它的统一内存,密集的 Qwen 3.8 27B 在 8 位量化下在 Unsloth Studio 中从未超过每秒 8 或 9 个 token。这不太可用,但对于这类密集模型,这几乎总是由于内存带宽所致。但将其降至 4 位量化后,速度提升到了还算不错的每秒 25 到 28 个 token。

使用 8 位的 Gemma 4 26B-A4B 则展示了混合专家技术确实是在本地以合理速度运行几乎任何模型所必需的。对于这个模型,Surface Laptop Ultra 通常能达到每秒约 40 个 token。

我手头没有基于 M5 的 MacBook 或 Mac Studio,但 Tom's Hardware 报道称,在 AI 使用场景中,Ultra 总体上优于 MacBook Pro 中的 M5 Max。

Surface Pro Ultra 上的 Unsloth。图片来源:The New Stack。

拔掉电源后性能下降

以上所有数字都是在笔记本连接 140W 充电器时测得的。微软表示,他们对系统进行了调校,使得使用电池运行时仍能为用户提供大部分完整性能。微软声称其基准测试显示,笔记本在使用电池时保留了 99.6% 的性能,但至少对于我测试的 AI 工作负载而言,这一下降要明显得多。

例如,4 位 Qwen 3.8 模型从每秒 25-28 个 token 降至使用电池时约每秒 18 个 token。对于 Nemotron 3.5 Bolt,性能降至每秒约 42 到 45 个 token。总体而言,在运行 AI 工作负载时,使用电池预计会损失约 20% 到 25% 的性能(游戏也表现出非常相似的下降),这似乎是合理的。

我没有进行任何正式的电池续航测试。微软表示,用户可以预期 12 小时的活跃网页使用时间。不过,根据我的观察,如果你持续运行本地 AI 工作负载,我不会指望电池续航超过几个小时。

关于内存的疑问

拥有 64GB 内存会让你处于一个有点尴尬的境地,因为目前大多数较小的模型都在 27B 到 30B 这个级别。额外的内存为 KV 缓存和其他应用程序提供了充足的余量,但例如在 32-48GB 范围内,这台机器也能处理的模型并不多。

选择 128GB 内存会使 Surface Laptop Ultra 的价格升至 5,900 美元

如此强大性能的代价:热量和噪音

不出所料,所有这些计算能力(微软表示你可获得高达 1 petaflop 的 FP4 AI 性能)都会产生一些热量。

没有人会争辩说,在运行 AI 应用程序时 Surface Laptop Ultra 是悄无声息的。它的双风扇产生的噪音并不极端,但足以在你工作时让你有点心烦。当 Hermes 或你最喜欢的编码代理在处理更复杂的查询时持续运行一段时间,这一点尤其明显。

毕竟,基于同一 N1X 平台打造的 Surface RTX Spark Dev Box 有上千个通风口是有原因的(这很可能也让它能将性能推到笔记本中 N1X 之上)。

除此之外,这台笔记本非常安静,而且在大多数日常使用场景中风扇保持关闭。一旦 GPU 负载再次下降,它也会很快安静下来。

全新的 Surface Magnetic Connect 和 140W 充电砖。图片来源:The New Stack。

还有几点观察

如果不强调我在测试 Ultra 时发现的其他几件事,我会觉得有所失职。毕竟,这是微软迄今为止最具雄心的笔记本电脑。

触控板很大,并带有触觉反馈。目前只有少数应用程序支持它,例如 DaVinci Resolve。有了这种反馈,编辑速度更快,比如当播放头吸附到位时你能感觉到。我希望更多触控板具备这一功能。

微软在扬声器上所做的任何处理都效果惊人。笔记本前部附近有侧向通风口,营造出令人惊讶的宽广立体声场,你在游戏中一定会注意到。

新的磁吸 USB-C 充电接头很不错。它感觉很像其他 Surface 设备上的磁吸 Connect。我只是担心自己迟早会把线弄丢。

微软并未将其定位为游戏 PC,但凭借那块 GPU,人们会尝试玩几款游戏,我也是如此。在 Windows ARM 机器上玩游戏仍处于早期阶段,但得益于微软的模拟,它通常能在开销不太大的情况下运行。更依赖 GPU 而非 CPU 的游戏表现会更好,但我能在开启光线追踪的情况下以约 60fps 在 2K 分辨率下玩《赛博朋克 2077》。借助帧生成和几项设置调整,甚至 4K 游戏也是一个选项。

关闭光线追踪后,《巫师 3》重制版也能在 4K 下愉快地以 60fps 运行。

但由于 15 英寸、3:2 触控屏(3270×2180)本质上是一块更好的 3K 屏幕,除非你外接显示器,否则你无论如何都不会想在 4K 下运行游戏。

屏幕看起来很棒,可以变得非常亮,但也高度反光。这常常令人分心。

总体而言,如今 ARM 上的 Windows 比一年前稳固得多。当然,有些应用程序和游戏无法运行(或运行不佳),但我还没有遇到任何问题。越来越多的开发者(如 OpenCode)提供桌面应用的 Windows ARM64 版本。

如果你有任何较旧的配件,拥有两个 USB-C、一个 USB-A 和一个 HDMI 端口真是太令人愉快了。再加上耳机插孔和 SD 卡读卡器,你甚至不需要携带 USB-C 扩展坞。

我已经习惯了我的 MacBook Air。Laptop Ultra 重达 4.41 磅(2 公斤)。

SSD 是可更换的。笔记本底部有四颗螺丝,拆开机身不会使保修失效。苹果应该注意了。

文章《在微软 Surface Laptop Ultra 上运行本地 AI 模型:我们的发现》首发于 The New Stack。

来源

The New Stack