はじめに
こんにちは。TIG DX ユニット所属、金欠コンサルタントの藤井です。
2023年10月10日、とうとう発売されましたね。Meta Quest 3（以下 Quest3 と略記）が。しっかり予約して発売日に手に入れようとしたんですが、何故か配達日がズレて 1 日遅れで入手しました。
せっかくなので、開封の儀と、Quest3 の目玉機能の一つである、フルカラーパススルーを使って遊んでみようと思います。
ちなみに、この記事はimmersedを用いて、VR 空間のバーチャルディスプレイを使って書いています。バーチャルデスクトップについては井上さんの記事をご参照ください。
開封の儀
外観確認・Quest2 との比較
それでは早速開封していきます。
ケースと箱はシンプルで、思ったよりコンパクトでした。（ダンボールに梱包されて届いた時点で想像より小さかったのでちょっと驚きました。）
箱から取り出して Quest2 と比較してみます。
まずは本体を上から見た図です。（右が Quest3）
ディスプレイ部分が明らかに薄くなっており、全体的にコンパクトに感じます。
レンズをパンケーキレンズに変更したことでサイズダウンするとは聞いていましたが、思ったより大幅に薄くなっていました。
装着する部分のバンドも明らかに見た目が違うのですが、これは私が Quest2 のバンドをバッテリー付きの Elite ストラップに変更しているからというのもあります。
この Elite ストラップというのが非常につけ心地が良いのもあり、正直 Quest3 のバンドはちょっと微妙でした。あまり頭にフィットせず、調整も難しいです。Quest3 用の Elite ストラップも買うことにしました。
一応 Quest2 の頃から改修は加えられており、頭頂部～後頭部部分が Y 字になって、よりフィットしやすくなってはいるようです。（この Y 字が開くことで締め付けが調整できる、というのになかなか気づけず…Quest3 を装着してから見ることができるチュートリアルで調整の仕方が紹介されるため、先にチュートリアルを進めるのが良いかもしれません。）
次に前から見た図がこちらです。（下が Quest3）ついでにコントローラーも並べています。
本体には特徴的な三つ目がついており、左右のそれぞれに RGB カメラと IR カメラが1つずつ、真ん中には深度センサーが取り付けられています。これらを用いてフルカラーパススルー及び MR のための空間認識機能を提供しているようです。
また、これに加えて、底面側に 2 つカメラがついているので、トータルで 6 つのカメラと 1 つの深度センサーが搭載されています。
コントローラーも大幅に変化していて、Quest2 のコントローラーにあったリングが無くなっています。元々このリングは赤外線を発しており、それを本体の赤外線カメラで検知することでコントローラーのトラッキング（位置・姿勢の取得）していました。
Quest3 ではリングが無くなった分、上面（ボタンやスティックが配置されている面）から赤外線を発しているようです。ただ、コントローラーを握っていたり、回転させると本体に赤外線が届かなくなってしまいます。そこで赤外線の検知に加え、ハンドトラッキングも並列で行ったり、加速度センサー・ジャイロセンサーの入力で補正したりと、多角的にトラッキングを行うことで安定したトラッキングを実現しているようです。1
ハンドトラッキングに関しては私の記事でちょっとだけ解説しています。（この記事はもう一回参照します。）実際の使用感としても、リングが無くなったことでトラッキングの精度が落ちた実感はありませんでした。
フルカラーパススルーと MR を体験してみる
開封も済んだので、三つ目を活かしたフルカラーパススルー・MR を体験してみようと思います。Meta が Quest3 の MR 体験用に提供しているゲームであるFirst Encountersをプレイしてみました。何枚かキャプチャも撮ったのですが、あんまりキャプチャだと凄さが伝わりそうになかったため、あえて文字だけで紹介してみます。できれば体験会や持っている知人に頼んで実際にプレイしてみていただきたいです。
まずゲームが始まる前に、プレイエリアを認識するため、部屋のスキャンを行います。と言っても、やることは部屋中をぐるりと眺めるぐらいです。ここで三つ目が活用され、リアルタイムに壁や障害物が認識されていきます。部屋のスキャンが完了すればゲーム開始です。ゲーム内容は簡単な FPS（ちょっとだけパズル要素あり）という感じなのですが、そこは MR、舞台は今自分がいる部屋なので、慣れ親しんだ空間がプレイエリアになるのでとても楽しい…と言う話ではありません（多分それは AR）。なんとゲームが始まると早々に天井の一部が崩れ落ちて宇宙船が落ちてきたのです。上階の人が床をぶち抜いたのかと思いました。
その後もちっちゃい宇宙人が壁を壊して部屋に入り込んできたり、自分が撃った弾が壁を壊したりと、だんだんと自分の部屋だったはずの空間が広大な空間（どこかの星）に変わっていきます。
こうなるともう脳はしっかり騙されてしまい、段々とどこが自分の部屋でどこがゲーム空間かわからなくなってきます。シームレスに現実と仮想空間が混ざり合っていく。なるほどこれが Mixed Reality か、という気持ちになりました。
（なお、二度ほど壁にぶつかりました。痛い。）
繰り返しになりますが、スクリーンショットやプレイ動画、文章だけではこの感覚は伝わらないので、ぜひとも何らかの方法で一度体験していただきたいです。
フルカラーパススルーを使って、家にテルミンを置いてみる
さて、公式のしっかりした MR を体験したところで、自分でも触ってみたくなったので、まずはフルカラーパススルーを試してみます。
とはいえ一からコンテンツを作っていると時間がかかるので、以前作成したハンドトラッキングテルミンシミュレータを流用して、我が家にテルミンを召喚してみましょう。
Oculus Integration のパッケージを導入していましたが、かなりアップデートが入っていたため、執筆時最新バージョンである 57.0 にアップデートした上で開発していきます。（その他 Unity のバージョンも 2022 まで上げたりしています。）
いつの間にか Oculus Integration が非常に便利になっており、直感的に必要なあれこれをシーンに追加できるようになっていました。メニューバーから Oculus -> Tools -> Building Blocks と行くと、各機能ごとのブロックが表示されるので、この中から必要なものをヒエラルキーに D&D するだけで導入が完了します。
今回は Camera Rig と Hand Tracking（以前テルミンシミュレータを作ったときのもとと競合するので、そちらは削除してから）を導入し、加えてパススルーを提供してくれる、Background Passthrough を導入します。
あとはテルミン側のスクリプトから、ハンドトラッキングの参照を設定し直せば準備完了です。ビルドして動かしてみましょう。
我が家にテルミンが来た！（思ったより大きい）
床にもちゃんと接してますね。（画像だとわかりにくいですが）
ただ、自分の手との前後関係はパススルーのみでは判定しようがないので、（本当はテルミンのほうが奥にあるのに）手の手前にテルミンが描画されてしまっています。このあたりはおそらく深度センサーを適切に使うことで解決する気はします。
ところでテルミンの 3D モデル、全く作り込んでいないのであからさまに 3D オブジェクト、という感じなのですが、それでもフルカラーパススルーで現実世界に登場させると、一気にそこに物があるような錯覚に襲われます。（ぶつかりそうになったら無意識に避けようとしてしまうぐらい）
もっとリアルなものを登場させたり、逆に First Encounters のようなコミカルなものと現実世界を融合させたりと、可能性は非常に広そうだと改めて感じました。
おわりに
テルミン、やっぱり難しい。
というのは冗談として、やはり新しいデバイスというのは胸が躍りますね。私が XR 系が好きだというのもありますが、特に XR 系の発展は身近に未来を感じられてハッピーです。
今後も新しい技術・デバイスが現れる度に色々とトライしていきたいと思います。
とりあえず直近は、深度センサーも活用してなにか作って遊べないか試したいです。
- 1.Meta Reveals How Quest 3 Controller Tracking Works As Beat Saber Founder Gives His Take https://www.uploadvr.com/meta-explains-quest-3-controller-tracking/ ↩