Microsoft 为 Windows ML 加入 llama.cpp 与 GGUF 模型实验性支持
Microsoft 于 2026 年 10 月 7 日宣布,在 Windows 本地 AI 推理基座 Windows ML 中实验性集成推理引擎 llama.cpp,开发者可通过 Windows ML 在 PC 上运行 GGUF 格式语言模型。同时新增 Text Generation API,让应用以统一流程调用 GGUF 与 ONNX 模型,Windows ML 会自动为 GGUF 选择 llama.cpp、为 ONNX 选择 ONNX Runtime。目前 llama.cpp 在 Windows ML 上仅验证了 CPU 与 CUDA 的 NVIDIA GPU 执行,GGUF 模型不支持 NPU,Text Generation API 也只提供贪心解码,不支持采样、temperature、投机解码与结构化输出,相关 API 为实验性、暂不支持生产使用。
用のText Generation APIを新たに提供する。Windows MLがモデル形式に応じて推論エンジンを自動で選び、GGUFモデルにはllama.cpp、ONNXモデルにはONNX Runtimeを使う。テキストをモデルが扱う単位(トークン)に分割する処理から、文章の生成、生成途中のテキストを順次返す処理までをAPI側が担う。これによって開発者は、Hugging Faceで公開されたGGUFモデルを取得し、Windows MLを通じてローカルで試せる。 Windows MLへの統合に加え、Microsoftは、NVIDIAやコミュニティと協力してllama.cpp本体の性能も改善したと説明している。NVIDIA GPUでの計算に使うCUDAの処理を最適化したほか、CPUとGPUの間での処理の割り振りも見直した。 Windows MLサーバーは、PC上で動くローカルサーバーで、アプリからの要求を受けてモデルを実行する。OpenAI互換のAPIを備えており、開発用ライブラリのOpenAI SDKの接続先をこのサーバーに変更すれば、ローカルモデルを利用できる。 Microsoftは
匹配字段正文


