Future Tech Blog
フューチャー技術ブログ
VRカテゴリ

Apple Vision Pro における LLM 利用について

AI Tips連載の3本目の記事となります。

Apple Vision ProでLLMを利用する方法について整理します（ユーザ向けのAI機能であるApple Intelligence自身が提供する各機能については本記事では対象にしません）。

注）LLMはLarge Language Modelの略称ですが、この記事では、SML(Small Language Model)、VML(Vision Language Model)、基盤モデル(Foundation Model)などが指し示す概念についても包括して便宜的に「LLM」という単語を用いて説明しています。

LLMの配置パターン

Vision ProでLLMを利用する際のLLMをどこに置くかという観点から説明していきたいと思います。

1. クラウド上のLLMを利用する方法

cloudllm.png

Vision Pro を Wi-Fiなどを経由してインターネットに接続し、クラウド上で提供されているLLMサービスへアクセスする方法です。
OpenAI、Anthropic、Googleなどが提供しているLLMのAPIなどを利用する場合がこれに該当します。

利点としては、Vision Pro自身にモデルデータを格納する必要がなく、また、Vision Pro自身のコンピューティング能力に依存しないので性能のスケーラビリティがあり、かつ、利用する際のコード量も最小限で済むところです。欠点としては、インターネットへの接続が必要なことと、Vision Proからの情報がクラウド内へ流れてしまう点です。

2. ローカルネットワーク上のMac（やPC）のLLMを利用する方法

macllm.png

Vision ProをWi-Fiなどを経由してローカルネットワークに接続し、Mac上で提供されているLLMサービスへアクセスする方法です。

利点としては、1と同じ点と、1で欠点としてあげていた点が生じないところになります。欠点としては、Mac上にLLMの環境をあらかじめ用意しておく必要がある点となります。こちらはLM Studioを使用するとお手軽に導入することが可能です。

Vision Proの場合、メモリ容量についてはバリエーションはなく16GBのみとなり、こちらが動作させることができるLLMのサイズに制限が大きくかかってくる点となります。なお、Mac上でLLMを動作させる場合は512GB搭載のMac Studioも選択肢として存在しますのでVision Proの場合と比べるとかなり利用するLLMの選択肢を広げることができます。

ちなみに、グラフィック描画については、Vision Pro上での描画をMac側へ移譲するような仕組みがありますが、そのLLM版みたいな感じなのがこちらの方法かと思います。

3. Vision Pro上のLLMを利用する方法

visionprollm.png

Vision Pro上にLLMのモデルデータを組み込んで動作させる方法です。

利点としては、Vision Proの外に一切の情報が流れないところです。欠点としては、Vision Proの中にLLMのモデルデータを格納しないといけないので、その分、初めに大きめのサイズのデータをダウンロードする必要がある点と、その分、Vision Proのストレージを逼迫させてしまう点などになります。

なお、次期OSであるvisionOS 26からはFoundation Models frameworkというApple Intelligenceの中核をなす、OSに組み込まれたオンデバイス基盤モデルを利用するための仕組みが用意されるのでこの欠点については緩和されるかもしれません。Vision Proには、MacBook/Air/ProやiPad/Proなどでも採用されているApple M2チップが搭載されています。

Apple Silicon上でLLMを利用する

Vision ProやMac上でLLMを動かす場合は、Apple Silicon内にある、CPU、GPU、Neural Engineの3つのいずれかでLLMを動かすることになります。

この時、Neural Engine上で動作させるためには、Appleが提供するCore MLを利用する必要があります。ただし、visionOS 2では企業向けにしか提供されていないため限定的な動作のみとなりますが、visionOS 26では一般向けでも利用できるようになるとのことです。

なお、Neural Engine以外の、CPU、GPU上で動作させる場合には、AppleがOSSで提供しているMLXを利用するのがApple SiliconのUMAに最適化されているのでオススメです。

Vision Proについては計算負荷が大きい場合にある程度動作リミッターがかかってしまいますが、企業向けには解除する方法も提供されています。

ちなみに、Vision Proに搭載されているM2チップの場合、CPUは高性能コアと高効率コアがそれぞれ4つ、GPUは10個、Neural Engineは16個のそれぞれマルチコアで構成されています。

applem2.png

Apple M2チップ内の構成（チップ内の機能を抜粋して図示）

LLM利用のサンプルコード

MLXを利用してLLMを動作させるためのサンプルソースコードは下記で公開されてますので、こちらを元に様々なLLMの動作を試してみると良いかと思います。主要なLLMを少し試したいだけならば、次の節で紹介しているアプリをAppStoreからインストールし、試してみると良いかと思います。

https://github.com/ml-explore/mlx-swift-examples/tree/main/Applications/LLMEval

また、本サンプルの実行については、下記のサイトで手順を追って丁寧に説明されていますので参考にしてみてください。

iPad で、LLM を動作させる手順詳細（Deep Seek R1, Qwen , MLX）、オンデバイスAIに向けて
IMG_0266.png

AppStoreで公開されているLLM関連アプリ

次に実際にAppStoreに公開されているVision Proで利用できる（他のAppleデバイスにも対応してます）アプリをいくつかあげておきます。

注）これらのアプリは私や当社が何らか動作や利用について何ら保障するものではありません

まとめ

今回は、Apple Vision ProにてLLMを利用したアプリの作成や実行についてまとめてみました。

より詳細な情報については、次の参考リンクでリストアップしていますので、そちらを参照してみてください。

参考リンク