Windows MLでllama.cppの実験的サポートが開始
Microsoftの開発者ブログにて、Windows MLでllama.cppの実験的サポートが開始され、GGUFモデルの実行が可能になることが発表された。
Windows MLは、Windows用のローカルAI推論フレームワーク。WindowsでローカルAIを動かすためのベースになる存在である。詳しくはこちらで解説している。
今回の発表は、WindowsでローカルAIを扱う上では、かなり大きな変更になる。何が起こるのか、わかりやすく解説していこう。
Windows MLからONNXモデルとGGUFモデルを動かせる
今回の発表以前は、Windows MLではONNXという形式のAIモデルを扱っていた。今後はONNXモデルだけでなく、GGUFモデルも利用可能になる。
GGUFモデルは、ローカルLLMでは広く使われている形式。GGUF対応によって、ローカルLLMのコミュニティで広く流通しているモデルを選択肢に加えられる。簡単に言うと、Windows MLで利用できるAIモデルが一気に増えて自由度が高くなる。
勘違いしないでいただきたいのは、一般ユーザーがWindowsでGGUFモデルを簡単に使えるようになるという話ではない。Windows MLに対応するAIツールで、GGUFモデルを呼び出せるようになった、ということだ。AIツール側の対応は比較的少ないコードで済むとしているが、何もしないで勝手に使えるようにはならない。
GGUFモデルを動かすには、llama.cppというオープンソースの推論エンジンを使う。Windows環境でも利用可能で、「LM Studio」などさまざまなAIツールにも採用されており、すでに広く使われている。
Windows MLにおいては、従来のONNXモデルを扱う経路とは別に、GGUFモデルをllama.cpp経由で実行できる経路が加わった。これによって、Windows MLからONNXモデルとGGUFモデルを柔軟に呼び出せる。
例として挙げられているのが、ONNXの音声認識モデルで音声入力を文字起こしして、そのテキストをGGUFのLLMに渡すという手順。Windows MLがモデル形式に応じて推論エンジンを使い分けてくれるので、開発者は使用するモデルを指定するだけで済む。
既にGGUFモデルでローカルAIを動かしているという方には物足りない話かもしれないが、将来的にはユーザーが自らツールをインストールしなくても、WindowsのアプリからGGUFモデルを使える場面は増えていくかもしれない。今はその下地が用意された、というところだ。
これは従来のWindows MLの動作をイメージした図。これからはONNXモデルがWindows MLで処理される動きはそのままに、GGUFモデルも処理可能になるNVIDIA RTX Sparkの登場に合わせた発表
今回の発表において面白いのは、具体的な内容だけでなく、Microsoftからのメッセージ性が強いところだ。
ブログの大見出しの1つ目は『Building with the llama.cpp open-source community』（llama.cppのオープンソースコミュニティとともに開発を進める）となっている。Microsoftがllama.cppの改善に直接協力し、さまざまな点でパフォーマンスを向上させた、と誇らしげに書かれている。
これまでWindows MLでは、ONNXモデルが使われてきた。MicrosoftはローカルAIの環境において、ひたすらONNXモデルの拡大を推進していくのではなく、GGUFなど別のローカルAI環境も積極的に取り入れていく姿勢を鮮明にしたと言える。
またその上にある序文では、「Surface Laptop Ultra」などのNVIDIA RTX Sparkを搭載した新世代の高性能Windows PCで、オープンソースモデルの実行、ローカルエージェントシステムの構築、Windows上での独自のモデルの開発と最適化のためのより多くの方法が提供される……と書かれている。
MicrosoftがアピールしてきたローカルAI用PCには、比較的小規模なAIモデルの推論をNPUで行うCopilot+ PCがある。それに比べてNVIDIA RTX Sparkのターゲットは、もっと大規模なAIの運用や、推論だけではなく学習も視野に入ってくる。NVIDIA RTX Sparkのような高性能と大容量メモリを搭載したPCが登場したのに合わせて、ソフトウェア側もそれに対応したものを提供することを示したかったのだろう。
今後登場する全てのPCが、大規模AIや学習を目的としたものになるわけではない。しかし将来的には、その割合は少しずつ増えていく。時代の変化に合わせて、MicrosoftはオープンソースAI基盤に協力を惜しまず、WindowsのAIへの適応を柔軟に進めていくので、安心して使い続けて欲しいというメッセージを発しているように感じられる。
著者プロフィール：石田賀津男（いしだ かつお）
1977年生まれ、滋賀県出身。金沢工業大学 工学部情報工学科卒。
ゲーム専門誌『GAME Watch』（インプレス）の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜で連載『石田賀津男の『酒の肴にPCゲーム』』（AKIBA PC Hotline!に移動）、『使ってわかるCopilot+ PC』などを執筆。
・著者Webサイト：https://ougi.net/