Microsoft 为 Windows ML 加入 llama.cpp 与 GGUF 模型实验性支持
Microsoft 于 2026 年 10 月 7 日宣布,在 Windows 本地 AI 推理基座 Windows ML 中实验性集成推理引擎 llama.cpp,开发者可通过 Windows ML 在 PC 上运行 GGUF 格式语言模型。同时新增 Text Generation API,让应用以统一流程调用 GGUF 与 ONNX 模型,Windows ML 会自动为 GGUF 选择 llama.cpp、为 ONNX 选择 ONNX Runtime。目前 llama.cpp 在 Windows ML 上仅验证了 CPU 与 CUDA 的 NVIDIA GPU 执行,GGUF 模型不支持 NPU,Text Generation API 也只提供贪心解码,不支持采样、temperature、投机解码与结构化输出,相关 API 为实验性、暂不支持生产使用。
匹配字段标题、摘要、正文



