Microsoft 为 Windows ML 加入 llama.cpp 与 GGUF 模型实验性支持
Microsoft、Windows MLにllama.cppとGGUFモデルの実験的サポートを追加 | gihyo.jp
Microsoft 于 2026 年 10 月 7 日宣布，在 Windows 本地 AI 推理基座 Windows ML 中实验性集成推理引擎 llama.cpp，开发者可通过 Windows ML 在 PC 上运行 GGUF 格式语言模型。同时新增 Text Generation API，让应用以统一流程调用 GGUF 与 ONNX 模型，Windows ML 会自动为 GGUF 选择 llama.cpp、为 ONNX 选择 ONNX Runtime。目前 llama.cpp 在 Windows ML 上仅验证了 CPU 与 CUDA 的 NVIDIA GPU 执行，GGUF 模型不支持 NPU，Text Generation API 也只提供贪心解码，不支持采样、temperature、投机解码与结构化输出，相关 API 为实验性、暂不支持生产使用。
推荐理由
AI 评分 60
Windows ML 把 llama.cpp 与 GGUF 纳入统一推理入口，读者可据此判断本地模型在 Windows 上的可用边界与限制。
主题
正文
当前显示原文，中文全文译文尚未就绪。
Microsoftは2026年10月7日、Windows向けのローカルAI推論基盤Windows MLに、大規模言語モデル（LLM）を実行する推論エンジンのllama.cppを実験的に統合したと発表した。これにより、開発者はGGUF形式の言語モデルをWindows MLを通じてPC上で動かせる。
AI Development on Windows: from PyTorch and llama.cpp to Windows ML（Microsoft）
More open-source model choice is coming to Windows. 💻
We’re bringing llama.cpp support to Windows ML, giving developers a faster way to experiment with emerging models and deploy across GPU, NPU + CPU.
Learn more: https://t.co/Kjuah6AI7f https://t.co/f3VxZFP6qO— Windows Developer (@windowsdev) October 8, 2026
ローカルとクラウドを組み合わせるハイブリッドインテリジェンス
今回のWindows MLの更新は、同社がWindowsで進める「ハイブリッドインテリジェンス」を実現する取り組みの一環。必要な能力を確保しながらクラウドの利用コストを抑えるため、処理に応じてローカルとクラウドのAIを使い分けられる。
この取り組みでは、次の4つの要素を組み合わせる。
ローカルモデル：Microsoftのコーディング向けAIモデルMAI-Code-1.1-FlashをPC向けに最適化。; 処理の振り分け：タスクに応じて、使うモデルと実行場所を選択。; モデルの実行基盤：Windows MLにllama.cppを統合し、利用できるモデルの選択肢を拡大。; ハードウェア：CPUとGPUを組み合わせたチップNVIDIA RTX Sparkを搭載するSurface Laptop Ultraなど、新しいWindows PCを展開。
Great to partner with NVIDIA as we kick off this next chapter for Windows. Thank you @JensenHuang and @sriramk for joining us today! https://t.co/Jh1os7T9Zu— Satya Nadella (@satyanadella) October 7, 2026
Microsoftは、8月に発表したMAI-Code-1.1-Flashのローカル版を今回用意した。モデルの重みを少ないビット数で表す3ビット量子化などにより、同モデルのクラウド版と比べて容量を約80%削減したという。
処理の振り分けを担うHydraFusionは、性能、費用、応答時間を考慮して、使うAIモデルとその組み合わせ方を選ぶGitHub Copilotの機能。1つのモデルでタスクを解くほか、必要なら高性能なモデルに引き継いだり、別のモデルに回答案をレビューさせてから修正したりする。
HydraFusionは、クラウド上のモデルを対象にリサーチプレビューで提供されている。今回の拡張では、PC上のローカルモデルも自動選択の対象に加え、タスクに応じてローカルとクラウドを使い分ける。この拡張の実験的プレビューは、10月後半にGitHub Copilotアプリ、GitHub Copilot CLI、Visual Studio Codeで提供する予定。
同日にWindows 11での一般提供が発表されたMicrosoft Execution Containers（MXC）は、AIエージェントを隔離された環境で実行するためのサンドボックス。詳細は別記事を参照のこと。
GGUFとONNXを共通のテキスト生成APIで利用
GGUFは、学習済みの重みやモデルの構造などの情報をまとめて保存する形式で、llama.cppなどの推論エンジンで使われる。ONNXも機械学習モデルを表す形式で、異なる開発環境と実行環境の間でモデルを受け渡すために使う。
Microsoftは、アプリからGGUFとONNXの言語モデルを共通の手順で利用できるよう、テキスト生成用のText Generation APIを新たに提供する。Windows MLがモデル形式に応じて推論エンジンを自動で選び、GGUFモデルにはllama.cpp、ONNXモデルにはONNX Runtimeを使う。テキストをモデルが扱う単位（トークン）に分割する処理から、文章の生成、生成途中のテキストを順次返す処理までをAPI側が担う。これによって開発者は、Hugging Faceで公開されたGGUFモデルを取得し、Windows MLを通じてローカルで試せる。
Windows MLへの統合に加え、Microsoftは、NVIDIAやコミュニティと協力してllama.cpp本体の性能も改善したと説明している。NVIDIA GPUでの計算に使うCUDAの処理を最適化したほか、CPUとGPUの間での処理の割り振りも見直した。
Windows MLサーバーは、PC上で動くローカルサーバーで、アプリからの要求を受けてモデルを実行する。OpenAI互換のAPIを備えており、開発用ライブラリのOpenAI SDKの接続先をこのサーバーに変更すれば、ローカルモデルを利用できる。
Microsoftは、音声を文字に起こすためのSpeech Recognition APIも提供する。このAPIは、開発者が用意したONNX形式の音声認識モデルWhisperを使う。文字起こしの結果をText Generation APIに渡し、GGUFモデルで処理することもできる。
モデルの実行を細かく制御する新しいRuntime API
テキスト生成と音声認識の両APIは、モデルの読み込みや実行を担う新しいWindows ML Runtime APIを基盤としている。既存のONNX Runtime APIも引き続きサポートされる。
Runtime APIを直接使うと、モデルの実行先としてCPUやGPU、AI処理向けプロセッサーのNPUなどを指定できる。複数のモデルをつなぐ場合も、処理の段階ごとに実行先を選べる。画像や音声を渡す際の不要なメモリーコピーを避ける仕組みや、モデルを事前にコンパイルして起動を速める機能も備える。
ただし、利用できる実行先はモデル形式によって異なる。今回、Windows MLがllama.cppで検証しているのは、CPUと、CUDAを使ったNVIDIA GPUでの実行に限られる。GGUFモデルはNPUでの実行には対応していない。
Text Generation APIの生成方法にも制限があり、現時点では次のトークンとして確率が最も高い候補を選ぶ方式のみを提供する。候補を確率的に選ぶサンプリングや、そのばらつきを調整するtemperatureには対応していない。複数のトークンを先に予測し、まとめて検証する「投機的デコード」や、JSONなどの指定形式で結果を返す「構造化出力」も未対応。
Runtime APIとテキスト生成・音声認識の両APIは、C++とPythonに対応し、C#には未対応。いずれも実験的なAPIで、現時点では本番利用はサポート対象外となる。MicrosoftはこれらのAPIを使うアプリをMicrosoft Storeに公開しないよう案内している。
これらのAPIは、MicrosoftがNuGetで公開しているWindows MLの実験版パッケージMicrosoft.Windows.AI.MachineLearning 2.7.2021-experimentalで試せる。Windows MLの公式GitHubリポジトリには、ドキュメントや開発用ツールが公開されている。Runtime API、テキスト生成・音声認識API、Windows MLサーバーのサンプルについては、Samplesディレクトリを参照のこと。
PyTorchとTritonのWindows対応も紹介
Microsoftは、モデルの学習や実行に使うフレームワークPyTorchのWindows Arm64対応も紹介した。PyTorchは、64ビットArmプロセッサーを搭載したWindows PC向けに、CPUで動作する公式パッケージを提供する。NVIDIAも、対応ハードウェアでGPUを利用できるCUDA対応のWindows Arm64用PyTorchパッケージを公開している。
PyTorchのGPU処理を高速化するために使われるのが、オープンソースのTriton[1]。GPUで行う計算処理を記述する言語と、それをGPU向けの実行コードに変換するコンパイラーを備える。PyTorchの高速化機能torch.compileも、Tritonを使ってGPU向けのコードを生成する。
Microsoftが今回紹介したWindows版Tritonにより、対応するGPUを搭載したWindows PCでもtorch.compileなどを利用できる。
Microsoftの発表記事では、TritonでPyTorchの処理を高速化する例を紹介している。Windows MLでの実行に向けて、PyTorchのモデルをONNX形式で書き出し、コマンドラインツールのWindows ML CLIで最適化や性能測定を行う手順も掲載している。
[1] TritonはOpenAIが改良を進め、2021年にバージョン1.0を公開した。
コラム：Autopilotの基盤OpenClawにも開発成果を還元
Microsoftが9月25日に発表したAutopilotは、利用者が設定した目標に沿って、クラウド上で継続的に業務を進めるAIエージェント。Autopilotの基盤には、エージェントを構築・カスタマイズするためのオープンソースプロジェクトOpenClawが使われている。
OpenClawは同日付のブログで、Autopilotの開発チームを率いるOmar Shahine氏ら、Microsoftの開発者によるOpenClaw本体への貢献を紹介した。
貢献には、エージェントの設定を組織のルールと照合して結果を記録する機能や、Windows用アプリのセットアップ、チャット画面、コマンド実行の承認操作の改善がある。バックグラウンド処理より利用者の依頼を優先する変更や、実行されたかどうか分からないコマンドの自動再実行を避ける修正も含まれる。
iMessageでの承認操作や返信先の扱いも改善されており、Windowsに加え、Apple製デバイスでのOpenClawの使い勝手も向上している。