はじめまして。フューチャーの関根と申します。

2025年3月29,30日に社内部活のブラサカVR部で開発合宿を実施しました！ その時の様子をお届けします👍

ブラインドサッカー・フューチャーブラサカVR部とは？

ブラインドサッカー（以後、ブラサカで省略）は視覚に障がいのある選手が行うサッカーになります。ゴールキーパー以外が全盲の選手で、アイマスクを装着しながら、鈴の入ったボールやそのほかの音のみを頼りに行うサッカーです。

詳しい説明はブラインドサッカー協会の公式HPをご覧ください。

私たちブラサカVR部は、2017年にTokyo2020の経済界協議会でブラインドサッカー協会と意気投合し、ブラサカ競技復興のためにVRアプリを開発したことを皮切りに、協会の目指す健常者・障がい者が混ざり合う世界の体感提供をITで支えるべく、ビジネスや開発の観点でサポートをしています。

2018年からはブラインドサッカー協会のサプライサービスパートナーとなり、公式にブラサカVR体験アプリ提供やブース出展、IT施策相談を行ってきました。コロナで活動が休止していましたが、活動を再開し、ブラインドサッカーを盛り上げていければと思っています！また少し前の話にはなりますが、過去小学生向けのスポーツ教育の推進も行い、品川区立日野学園にて実施したブラインドサッカーの体験授業が、文部科学省「青少年の体験活動推進企業表彰」奨励賞を受賞したりしています。

• フューチャーのＣＳＲ事業 フューチャー イノベーション フォーラム（ＦＩＦ） 文部科学省 「青少年の体験活動推進企業表彰」 ２年連続受賞

このように日々活動領域を広げながら活動をしています！

開催場所

そんなブラサカVR部ですが、活動再開と合わせてアプリも新しくしていきたいね！とのことで開発合宿を行うことに。事前にブラサカ部のSlack上で話し合い、横須賀にて開催することになりました！

3月末だったので宿空いてるかなー、なんて思っていたらどっこい。結構埋まっていてびっくりでした。宿の手配をしてくださったメンバーの方には本当に感謝。

1日目の様子

宿へ向かう

お昼の13時頃に横須賀駅に集合。時間通りに来た人は自分を含めて二人だけでした。
（間違えて各駅乗っちゃった方もいたり、休日なので皆マイペース）

集まった人たちだけでひとまずお先に宿へ向かいます。

生憎雨が降っていましたが、気にせずGo！

早速開発！

宴の準備だけ済ませたらすぐに開発が始まりました。

もう少しゆっくりしてからスタートするかと思いきや、みなさんちゃんとやる気モードでした🔥

お酒もしっかり開きました🍺

久しぶりのUnity開発である事もあり、お互い相談をしながらガツガツと開発を進めていました。その場で気軽に相談し合えるのが開発合宿の良い所ですね。

アプリの改修自体が4,5年ぶりになるので、Unityのことを覚えている人は少数。しかしここはFuture。さすがみんなエンジニアと思わずにはいられないほど、ガツガツと改修していきます。
（さすが！）

ブラサカVR部に入ったばかりの人もいましたが、わからない事は教えあったりしてわいわいと開発が進行！

合宿中、かなり熱心にみなさん取り組んでいたこともありgitに溜まっていたissueがこの日だけで5つほど消化することに成功。

もっと開発進まないと思っていました。

夕食・カラオケ大会からのボドゲ大会

改修がある程度煮詰まった頃にはもう日が暮れていたのでそのまま全員で夕食へ。夕食後はカラオケ大会・ボドゲ大会が開催されました。
（夕食・カラオケ大会の写真撮ってないのやってしまった）

集中するところはしっかりと、オフの時はがっつりオフモードでメリハリつけて楽しみました。

ギルニダンダーは強い。

2日目の様子

全く観光出来ていなかったので

2日目は予定がある方も多く、朝には帰宅された方も多かったので残っている人たちで横須賀を散策。横須賀といったら戦艦三笠でしょ、とのことで戦艦三笠へ。

この日は天気が良くて、三笠の上から見える景色も良かったです。天気晴朗なれども波は無し。

帰りに合宿に来られなかった人と合流して振り返り会を実施

予定が合わずに合宿に参加できなかったメンバーもいたので、2日目のお昼にその方も交えて振り返り会を実施しました。

振り返り

自分はブラサカ部が設立されてから初めての開発合宿の参加をさせていただきましたが、非常に楽しい会でした。

やる時はしっかりと開発しつつ、オフにする時はしっかりとオフモードで楽しむ。メリハリがついていて良かったと思います！

すでに次の合宿はどうしようか、という話がブラサカ部のミーティング内でも出ているので、またブラサカVRアプリのアップデートに向けて進めていこうと思います！

Apple Vision ProでLLMを利用する方法について整理します（ユーザ向けのAI機能であるApple Intelligence自身が提供する各機能については本記事では対象にしません）。

注）LLMはLarge Language Modelの略称ですが、この記事では、SML(Small Language Model)、VML(Vision Language Model)、基盤モデル(Foundation Model)などが指し示す概念についても包括して便宜的に「LLM」という単語を用いて説明しています。

LLMの配置パターン

Vision ProでLLMを利用する際のLLMをどこに置くかという観点から説明していきたいと思います。

1. クラウド上のLLMを利用する方法

Vision Pro を Wi-Fiなどを経由してインターネットに接続し、クラウド上で提供されているLLMサービスへアクセスする方法です。
OpenAI、Anthropic、Googleなどが提供しているLLMのAPIなどを利用する場合がこれに該当します。

利点としては、Vision Pro自身にモデルデータを格納する必要がなく、また、Vision Pro自身のコンピューティング能力に依存しないので性能のスケーラビリティがあり、かつ、利用する際のコード量も最小限で済むところです。欠点としては、インターネットへの接続が必要なことと、Vision Proからの情報がクラウド内へ流れてしまう点です。

2. ローカルネットワーク上のMac（やPC）のLLMを利用する方法

Vision ProをWi-Fiなどを経由してローカルネットワークに接続し、Mac上で提供されているLLMサービスへアクセスする方法です。

利点としては、1と同じ点と、1で欠点としてあげていた点が生じないところになります。欠点としては、Mac上にLLMの環境をあらかじめ用意しておく必要がある点となります。こちらはLM Studioを使用するとお手軽に導入できます。

Vision Proの場合、メモリ容量についてはバリエーションはなく16GBのみとなり、こちらが動作させることができるLLMのサイズに制限が大きくかかってくる点となります。なお、Mac上でLLMを動作させる場合は512GB搭載のMac Studioも選択肢として存在しますのでVision Proの場合と比べるとかなり利用するLLMの選択肢を広げることができます。

ちなみに、グラフィック描画については、Vision Pro上での描画をMac側へ移譲するような仕組みがありますが、そのLLM版みたいな感じなのがこちらの方法かと思います。

3. Vision Pro上のLLMを利用する方法

Vision Pro上にLLMのモデルデータを組み込んで動作させる方法です。

利点としては、Vision Proの外に一切の情報が流れないところです。欠点としては、Vision Proの中にLLMのモデルデータを格納しないといけないので、その分、初めに大きめのサイズのデータをダウンロードする必要がある点と、その分、Vision Proのストレージを逼迫させてしまう点などになります。

なお、次期OSであるvisionOS 26からはFoundation Models frameworkというApple Intelligenceの中核をなす、OSに組み込まれたオンデバイス基盤モデルを利用するための仕組みが用意されるのでこの欠点については緩和されるかもしれません。Vision Proには、MacBook/Air/ProやiPad/Proなどでも採用されているApple M2チップが搭載されています。

Apple Silicon上でLLMを利用する

Vision ProやMac上でLLMを動かす場合は、Apple Silicon内にある、CPU、GPU、Neural Engineの3つのいずれかでLLMを動かすることになります。

この時、Neural Engine上で動作させるためには、Appleが提供するCore MLを利用する必要があります。ただし、visionOS 2では企業向けにしか提供されていないため限定的な動作のみとなりますが、visionOS 26では一般向けでも利用できるようになるとのことです。

なお、Neural Engine以外の、CPU、GPU上で動作させる場合には、AppleがOSSで提供しているMLXを利用するのがApple SiliconのUMAに最適化されているのでオススメです。

Vision Proについては計算負荷が大きい場合にある程度動作リミッターがかかってしまいますが、企業向けには解除する方法も提供されています。

ちなみに、Vision Proに搭載されているM2チップの場合、CPUは高性能コアと高効率コアがそれぞれ4つ、GPUは10個、Neural Engineは16個のそれぞれマルチコアで構成されています。

Apple M2チップ内の構成（チップ内の機能を抜粋して図示）

LLM利用のサンプルコード

MLXを利用してLLMを動作させるためのサンプルソースコードは下記で公開されてますので、こちらを元に様々なLLMの動作を試してみると良いかと思います。主要なLLMを少し試したいだけならば、次の節で紹介しているアプリをAppStoreからインストールし、試してみると良いかと思います。

https://github.com/ml-explore/mlx-swift-examples/tree/main/Applications/LLMEval

また、本サンプルの実行については、下記のサイトで手順を追って丁寧に説明されていますので参考にしてみてください。

iPad で、LLM を動作させる手順詳細（Deep Seek R1, Qwen , MLX）、オンデバイスAIに向けて

AppStoreで公開されているLLM関連アプリ

次に実際にAppStoreに公開されているVision Proで利用できる（他のAppleデバイスにも対応してます）アプリをいくつかあげておきます。

注）これらのアプリは私や当社が何らか動作や利用について何ら保障するものではありません。

• AI Pro - AIチャットボット助手

  • 「1.クラウド上のLLMを利用する方法」の例

• On-Device AI: Offline & Secure

  • 「2. ローカルネットワーク上のMac（やPC）のLLMを利用する方法」「3. Vision Pro上のLLMを利用する方法」の例

• fullmoon: local intelligence

  • 「3. Vision Pro上のLLMを利用する方法」の例

まとめ

今回は、Apple Vision ProにてLLMを利用したアプリの作成や実行についてまとめてみました。

より詳細な情報については、次の参考リンクでリストアップしていますので、そちらを参照してみてください。

参考

• ML & AI
  • WWDC25: Discover machine learning & AI frameworks on Apple platforms
• MLX
  • WWDC25: Get started with MLX for Apple silicon
  • WWDC25: Explore large language models on Apple silicon with MLX
• Foundation Models
• WWDC25: Meet the Foundation Models framework
  • WWDC25: Deep dive into the Foundation Models framework
  • WWDC25: Explore prompt design & safety for on-device foundation models
  • WWDC25: Code-along: Bring on-device AI to your app using the Foundation Models framework
• visionOS
  • WWDC24: Introducing enterprise APIs for visionOS
  • WWDC25: Explore enhancements to your spatial business app
  • WWDC25: What’s new in Metal rendering for immersive apps

visionOS 2.0からはEnterprise APIという、企業向けのAPIを利用できます。

ただし、利用するにはAppleへ申請し、承認されると送られてくるライセンスファイルをプロジェクト内に含めてビルドする必要がありますので、利用までの一連の手続きをまとめます。

Enterprise API

Enterprise APIには次のようなものが用意されています。

センサーへの拡張アクセス

• Main Camera Access
  • 前方のメインカメラからの入力データの取得
• Passthrough in Screen Capture
  • Vision Proを装着している人が見ている、現実世界とデジタルコンテンツが合わさっている表示へのアクセス
• Spatial Barcode and QR code Scanning
  • 空間にあるバーコードとQRコードのスキャン

visionOSを最大限駆使するためのプラットフォーム制御

• Apple Neural Engine access
  • 機械学習タスク用のApple ニューラルエンジンへのアクセス
• Object Tracking Parameter Adjustment
  -　既知オブジェクトの検出と設定可能なパラメータを使ったトラッキングの最適化
• Increased Performance Headroom
  • 熱使用量の増加とバッテリー寿命の低下のトレードオフを伴った、高い計算能力が必要な場合のCPUとGPUのパワーを追加

これらの具体的な紹介については、次のWWDC2024のビデオが参考になります。（字幕はデフォルトだと英語なので日本語に切り替えてから再生してください）

• visionOS向けエンタープライズAPIのご紹介

次にこれらのEnterprise APIを利用するための手順を紹介します。

Appleへの申請

Building spatial experiences for business apps with enterprise APIs for visionOSページ内に「Development Only request」と書かれている部分にリンクが張ってあるのでそちらをクリックしその先のページで申請をします。申請時は使用したい機能などを記入していきます。

注意する点としては、Apple Developer Program もしくは Apple Developer Enterprise Programのそれぞれアカウントホルダーでないと申請手続きが行えません。申請後はAppleからアカウントホルダーへ承認メールが来るまで待ちます。

参考情報となりますが、先日申請した際は10日程経った後、ライセンスファイルが添付されたメールが届きました。

ライセンスファイルのプロジェクトへの追加

上記メールに添付されていたライセンスファイルは、プロジェクトに含める必要があるので、プロジェクトフォルダ内へコピーします。プロジェクト内であればネストしたフォルダ配下でも大丈夫なようです。なお、このファイルは有効期限が設定されています。

参考情報となりますが、今回の申請では、始めに届いたファイルは有効期限が１ヶ月弱で、有効期限が切れる少し前に更新された新しいライセンスファイルがAppleから届きました。

エンタイトルメントファイルの作成

プロジェクト設定の「+Capability」をクリックし、使用したい機能を追加します。

TeamがPersonal TeamやNoneに設定されていると候補に出てこないので注意してください。

具体的な手順はAdding capabilities to your appなどを参照しましょう。

プログラムの作成

AppleからEnterprise APIを使った例が示されていますのでそれを参考に作成してみましょう。
Locating and decoding barcodes in 3D space

上記例はImmersiveView.swiftについてしか示されていないので、あらかじめvisionOSアプリの新規プロジェクトを作成し、その中のImmersiveView.swiftの内容を上記ページに記載されている内容に置き換えます。その後、上記に書いてきているEnterprise API を使う手順を全て行い、ビルドし実行すると実機にて動作を確認（コード状に黄緑色の四角い面が重なったアニメーションが表示され、コンソールにデコードされた値が表示されます）できます。

ちなみに検出できるコードのサイズはQRコードの場合だと2,3cm以上ないとダメなようです。

トラブルシューティング

必要な権限が含まれているライセンスファイルがプロジェクトに含まれていない、もしくはライセンスファイルの有効期限が切れている場合は、

App not authorized.

とコンソールに出て、プログラム内で呼び出しているEnterprise APIが実行できません。

まとめ

Vision ProでEnterprise API を使う方法についてまとめました。

今後も引き続き、Vision Pro関係の記事を投稿していく予定です。

はじめに

2024年初めから米国で発売開始されたApple Vision Proですが、国内でも販売が開始されたので、早速、当社でも手に入れてみました。

以前、当社ではMicrosoftのHoloLens(2ではない)を検証したこともありましたが、今回のAppleのVision Proはそれらなどの問題点などをよく研究してきたものであると感じました。

主観ですが、HoloLensは光学シースルー方式で、Vision Proはビデオシースルー方式です。そのため、現実の風景の解像度についてはHoloLensには勝りませんが、半透明にならずに完全に現実を仮想を合成できます。Meta Quest3よりは鮮明でフレームレートもそれなりに高く、自分の場合は装着したまま外を歩いたり階段を上り下りできるレベルと感じました。重さなどについては別として、画質としては実用レベルかと思いました。（被ったまま紙の本などを読むなどはちょっと辛い）

今回は、アプリケーションの利用やプログラミング開発ではなく、物理的な部分にフォーカスしたいと思います。

やはり、スターンドアローン型のHMDである Vision Proはそれなりに重く（500mmペットボトル1本超ぐらいの重さ）、装着時にその重量をうまく分散させることが利用時の快適さを向上させるために重要となります。

ネットで共有されていた既存の情報や、自分で色々検索し、サードパーティから提供されているアクセサリーを色々手に入れ検証してみましたので、それらの使用感などを共有したいと思います。

あくまでも、記載している内容は会社ではなく私の全て主観的な感想となります。また、おおよその金額も記載していますがあくまでも参考額なので、ご了承ください。

Soloニット用バッテリーホルダー

• Soloニットにクリップで取り付ける
• 3Dプリンタで出力されたもの
• 取り付けると頭部前方の本体の重さに対するカウンターウェイトになり前後のバランスが良くなる
• バッテリーのケーブルを巻き取ることができる
• 色味、質感は微妙
• 3,000円弱

Anker モバイルバッテリー Power Bank (10000mAh, 30W)

• Vision Proのバッテリーは動作させながらの交換はできないので、Vision Proのバッテリーに別のモバイルバッテリーを接続することで稼働時間を伸ばすことができる
• 2個用意し、それらを交互に交換・充電することでVision Proの連続稼働を実現させることができる
• 6,000円弱

ケースなど

ユニクロ ラウンドミニショルダーバッグ

• 頑張って詰め込むと、ギリギリジッパーを閉めることも可能
• ジッパーを開けっぱなしにして軽く持ち運ぶのもあり
• 1,500円

Ulanzi カメラ用ラッピングクロス 45cm×45cm

• 他の入れ物に入れる際はさっと使え便利
• 2,000円弱

elago シリコントレー

• デスクに本体を置く場合にはこれを使用すると本体も傷付かないので良い
• 4,000円弱

Apple Vision Pro用デベロッパストラップ

• Macと有線で接続するためには必要。無線接続でも開発したアプリなどをMacから送ったりデバッグなどできるが、VPN接続された環境などだと接続できなかったりするのであったほうが便利
• 5万円超

以下では、ライトシーリングを装着した状態と外した状態それぞれのパターンでまとめています。

なお、ライトシーリングを外した状態での利用はApple非サポートの使用方法となりますが、顔面に接触する部分がなくなるので開放感があり普段使いに適していると感じました。他者に試してもらう際も衛生感が向上するかと思います。

ライトシーリングを装着した状態でのセッティング例

SHINOBU工房 Lens Protector

• 標準で用意して欲しいレベルの小物
• 持ち運び時には必ず使いたい
• 1,000円弱

SoloTop: 上方向にSoloニットを追加するためのアダプター

• 3Dプリンタで出力されたもの
• Apple Vision Pro用デベロッパストラップと組み合わせることができない
• Soloニットを追加で用意する必要がある
• 自分の場合は、上方向にはSサイズのSoloニットを組み合わせるとちょうどよかった
• 2,000円弱

ライトシーリングを外した状態でのセッティング例

SHINOBU工房 ヘッドバンド Band Pro v2.1 with SHINOBU工房 ノーズパッド Nose Pro

• 自分の場合は、ヘッドバンド取り付け部分がVision Proのオーディオストラップの内側になるため、幅が若干狭くなりその部分が痛くなった
• ノーズパッド部分も痛かった
• 2,000円弱+1,280円

ANNAPRO 圧力低減コンフォート ヘッドストラップ

• ヘッドバンドと違い、固定された部品なため安定して、おでこ部分でおさえることができる
• ただ、本体との距離の調整がヘッドストラップ部分につける厚さが異なる数種のクッションでしか調整できないため、ライトシール装着時よりも顔を本体に寄せることができない
• 6,000円弱

INFINITY ONE Air Cover 2.0 with Nylon Tape（検証予定）

• 2よりも本体との距離を縮められそう
• Nylon Tapeによって頭頂部でも重量を分散でき、良さそう
• 外部光の遮断も上と横方向について行われており、良さそう
• 8,000円弱

まとめ

Apple Vision Proを利用する際に必要となったり、より快適になるアクセサリー類を検証した内容をまとめてみました。

現在は、企業向けアプリで利用できるEnterprise APIの検証なども行っているため、次回はそれらについての記事も書きたいと考えています。

*2024年12月9日追記 続編が公開されました:

• 「続 Apple Vision Pro を利用するために有益なアクセサリー類の検証」

はじめに

こんにちは、2022年4月新卒入社、金融グループ所属の森です。

秋のブログ週間20232週目の記事として、自在化身体論の感想文を掲載します。

私はフロントエンドやアルゴリズム関連の書籍を読むことが多いのですが、読書の秋！ ということで、思い切って普段は読まないような分野の本を手に取ってみました。

本の概要

「自在化身体」という概念や、それに関する研究、技術についての本です。
「自在化」の概念は本書で以下のように述べられています。

「 機械によって拡張された能力を、人が自在に扱えること」

想像しやすいところで言えば、人間の筋力を増強する「パワードスーツ」などが「自在化身体」の1つと言えるでしょう。

しかし、ロボットによる人体の拡張に限らず、バーチャル世界での身体、ひとりで複数の身体を扱うこと、逆に複数人でひとつの身体を制御することなど、「自在化身体」の様々な在り方が紹介されていきます。

章立てです。

各章で「自在化身体」の各研究グループのリーダーが自身の経歴や研究の内容、将来像について紹介していく形式になっています。

• 第1章　変身・分身・合体まで ― 自在化身体が作る人類の未来
• 第2章　身体の束縛から人を開放したい ― コミュニケーションの変革も
• 第3章　拡張身体の内部表現を通して脳に潜む謎を暴きたい
• 第4章　自在化身体は第4世代ロボット ― 神経科学で境界を超える
• 第5章　今役立つロボットで自在化を促す ― 飛び込んでみないと自分はわからない
• 第6章　バーチャル環境を活用した身体自在化とその限界を探る
• 第7章　柔軟な人間と機械との融合
• 第8章　情報的身体変工としての自在化技術 ― 美的価値と社会的倫理観の醸成に向けて

感想

「パワードスーツ」のような、ロボット工学の話題を中心に構成されていると思っていましたが、バーチャル空間上での身体についての研究や、心理学、脳科学の知見を利用した自在化身体の応用、自在化身体と美的感覚、倫理観の関係など非常に幅広い話題があり驚かされました。

興味深く感じた話題について紹介します。

自在と自動

「自在化」において大切なことは、あくまで人間に新しい能力を授けることだとされています。

書籍では自動運転技術とドラえもんのタケコプターを比較して説明しています。どちらの技術でもユーザーは移動という目的を達成できますが、自在化で目指すのはタケコプターのように人間に移動能力を付加することです。

あくまで主体は人間であるという点と、行動の結果のみを重要視しているわけではない点に、単に利便性のための技術にとどまらない可能性を感じて好印象でした。

第3の腕

ロボットハンドを体に装着し自由自在に扱えるようにする研究や、ロボットハンドを自身の体から離れたところに設置し動かす研究が紹介されていました。

ロボットハンドを遠隔操作する場合、操作している腕の位置や角度に応じて操作者の背中に刺激を与えると作業効率が上がる実験結果が得られているそうです。

ロボットハンドという本来自分の体にないパーツからのフィードバックに脳が対応できる点が非常に興味深かったです。

この他にも人間の適応能力の高さを利用した研究や、逆に脳がどれだけの身体拡張を許容できるのか調べる研究についても紹介されていました。

身体感覚の編集

モーションキャプチャでユーザーの全身の動きを取得し、VR空間上のアバターの動きに反映させるシステムを用いた実験が紹介されていました。

ユーザーはヘッドマウントディスプレイを通してVR空間上で自身の動きをリアルタイムに観測します。ここで、アバターの表示に遅延を入れる、もしくはアバターの次の動きを予測し、数フレーム先の動作を表示すると、ユーザーは「体が重い」もしくは「体が軽い」という感覚を得るそうです。

アバターという拡張された身体を経由することで人間の感覚の制御ができる、という話を聞くと、いずれ自身の思い通りに感覚を制御しながら生活ができるのでは？ と夢が広がりますね！

さいごに

自分にとって初めての概念が多く登場する本でしたが、具体的な研究内容の紹介や図表による説明が十分にあったため、あまり困ることなく読み進めることができました。

子供の頃に夢見たSFの世界がすぐそこに迫っている事実にワクワクが止まりません（書籍の内容ではありませんが、自在化身体研究プロジェクトで作成された自在肢がカッコイイ…）

SFが好きな方、VR、ロボット工学、心理学、脳科学に興味がある方など様々な人にオススメできる本です。

次は栗栖さんのリファクタリング本を読んで良いコードとは何かを知るです。

こんにちは。TIG DX ユニット所属、金欠コンサルタントの藤井です。

2023年10月10日、とうとう発売されましたね。Meta Quest 3（以下 Quest3 と略記）が。しっかり予約して発売日に手に入れようとしたんですが、何故か配達日がズレて 1 日遅れで入手しました。
せっかくなので、開封の儀と、Quest3 の目玉機能の1つである、フルカラーパススルーを使って遊んでみようと思います。

ちなみに、この記事はimmersedを用いて、VR 空間のバーチャルディスプレイを使って書いています。バーチャルデスクトップについては井上さんの記事をご参照ください。

開封の儀

外観確認・Quest2 との比較

それでは早速開封していきます。
ケースと箱はシンプルで、思ったよりコンパクトでした（ダンボールに梱包されて届いた時点で想像より小さかったのでちょっと驚きました）。

箱から取り出して Quest2 と比較してみます。

まずは本体を上から見た図です（右が Quest3）

ディスプレイ部分が明らかに薄くなっており、全体的にコンパクトに感じます。
レンズをパンケーキレンズに変更したことでサイズダウンするとは聞いていましたが、思ったより大幅に薄くなっていました。

装着する部分のバンドも明らかに見た目が違うのですが、これは私が Quest2 のバンドをバッテリー付きの Elite ストラップに変更しているからというのもあります。

この Elite ストラップというのが非常につけ心地が良いのもあり、正直 Quest3 のバンドはちょっと微妙でした。あまり頭にフィットせず、調整も難しいです。Quest3 用の Elite ストラップも買うことにしました。

一応 Quest2 の頃から改修は加えられており、頭頂部～後頭部部分が Y 字になって、よりフィットしやすくなってはいるようです（この Y 字が開くことで締め付けが調整できる、というのになかなか気づけず…Quest3 を装着してから見ることができるチュートリアルで調整の仕方が紹介されるため、先にチュートリアルを進めるのが良いかもしれません）。

次に前から見た図がこちらです（下が Quest3）ついでにコントローラーも並べています。

本体には特徴的な3つ目がついており、左右のそれぞれに RGB カメラと IR カメラが1つずつ、真ん中には深度センサーが取り付けられています。これらを用いてフルカラーパススルー及び MR のための空間認識機能を提供しているようです。
また、これに加えて、底面側に 2 つカメラがついているので、トータルで 6 つのカメラと 1 つの深度センサーが搭載されています。

コントローラーも大幅に変化していて、Quest2 のコントローラーにあったリングが無くなっています。元々このリングは赤外線を発しており、それを本体の赤外線カメラで検知することでコントローラーのトラッキング（位置・姿勢の取得）していました。

Quest3 ではリングが無くなった分、上面（ボタンやスティックが配置されている面）から赤外線を発しているようです。ただ、コントローラーを握っていたり、回転させると本体に赤外線が届かなくなってしまいます。そこで赤外線の検知に加え、ハンドトラッキングも並列で行ったり、加速度センサー・ジャイロセンサーの入力で補正したりと、多角的にトラッキングを行うことで安定したトラッキングを実現しているようです。¹

ハンドトラッキングに関しては私の記事でちょっとだけ解説しています（この記事はもう1回参照します）。実際の使用感としても、リングが無くなったことでトラッキングの精度が落ちた実感はありませんでした。

フルカラーパススルーと MR を体験してみる

開封も済んだので、3つ目を活かしたフルカラーパススルー・MR を体験してみようと思います。Meta が Quest3 の MR 体験用に提供しているゲームであるFirst Encountersをプレイしてみました。何枚かキャプチャも撮ったのですが、あんまりキャプチャだと凄さが伝わりそうになかったため、あえて文字だけで紹介してみます。できれば体験会や持っている知人に頼んで実際にプレイしてみていただきたいです。

まずゲームが始まる前に、プレイエリアを認識するため、部屋のスキャンを行います。と言っても、やることは部屋中をぐるりと眺めるぐらいです。ここで3つ目が活用され、リアルタイムに壁や障害物が認識されていきます。部屋のスキャンが完了すればゲーム開始です。ゲーム内容は簡単な FPS（ちょっとだけパズル要素あり）という感じなのですが、そこは MR、舞台は今自分がいる部屋なので、慣れ親しんだ空間がプレイエリアになるのでとても楽しい…と言う話ではありません（多分それは AR）。なんとゲームが始まると早々に天井の一部が崩れ落ちて宇宙船が落ちてきたのです。上階の人が床をぶち抜いたのかと思いました。

その後もちっちゃい宇宙人が壁を壊して部屋に入り込んできたり、自分が撃った弾が壁を壊したりと、だんだんと自分の部屋だったはずの空間が広大な空間（どこかの星）に変わっていきます。

こうなるともう脳はしっかり騙されてしまい、段々とどこが自分の部屋でどこがゲーム空間かわからなくなってきます。シームレスに現実と仮想空間が混ざり合っていく。なるほどこれが Mixed Reality か、という気持ちになりました。
（なお、二度ほど壁にぶつかりました。痛い）。

繰り返しになりますが、スクリーンショットやプレイ動画、文章だけではこの感覚は伝わらないので、ぜひとも何らかの方法で一度体験していただきたいです。

フルカラーパススルーを使って、家にテルミンを置いてみる

さて、公式のしっかりした MR を体験したところで、自分でも触ってみたくなったので、まずはフルカラーパススルーを試してみます。
とはいえ一からコンテンツを作っていると時間がかかるので、以前作成したハンドトラッキングテルミンシミュレータを流用して、我が家にテルミンを召喚してみましょう。

Oculus Integration のパッケージを導入していましたが、かなりアップデートが入っていたため、執筆時最新バージョンである 57.0 にアップデートした上で開発していきます（その他 Unity のバージョンも 2022 まで上げたりしています）。

いつの間にか Oculus Integration が非常に便利になっており、直感的に必要なあれこれをシーンに追加できるようになっていました。メニューバーから Oculus -> Tools -> Building Blocks と行くと、各機能ごとのブロックが表示されるので、この中から必要なものをヒエラルキーに D&D するだけで導入が完了します。

今回は Camera Rig と Hand Tracking（以前テルミンシミュレータを作ったときのもとと競合するので、そちらは削除してから）を導入し、加えてパススルーを提供してくれる、Background Passthrough を導入します。

あとはテルミン側のスクリプトから、ハンドトラッキングの参照を設定し直せば準備完了です。ビルドして動かしてみましょう。

我が家にテルミンが来た！（思ったより大きい）

床にもちゃんと接してますね（画像だとわかりにくいですが）

ただ、自分の手との前後関係はパススルーのみでは判定しようがないので、（本当はテルミンのほうが奥にあるのに）手の手前にテルミンが描画されてしまっています。このあたりはおそらく深度センサーを適切に使うことで解決する気はします。

ところでテルミンの 3D モデル、全く作り込んでいないのであからさまに 3D オブジェクト、という感じなのですが、それでもフルカラーパススルーで現実世界に登場させると、一気にそこに物があるような錯覚に襲われます（ぶつかりそうになったら無意識に避けようとしてしまうぐらい）

もっとリアルなものを登場させたり、逆に First Encounters のようなコミカルなものと現実世界を融合させたりと、可能性は非常に広そうだと改めて感じました。

おわりに

テルミン、やっぱり難しい。

というのは冗談として、やはり新しいデバイスというのは胸が躍りますね。私が XR 系が好きだというのもありますが、特に XR 系の発展は身近に未来を感じられてハッピーです。

今後も新しい技術・デバイスが現れる度に色々とトライしていきたいと思います。

とりあえず直近は、深度センサーも活用してなにか作って遊べないか試したいです。

こんにちは。TIG DX ユニット所属、金欠コンサルタントの藤井です。

夏の自由研究連載の第2弾です。夏休みの宿題っぽいものを題材にしてみました。

実は私、星を見るのが好きなので、天体望遠鏡を買ったり、星を撮るためにカメラを買ったりしています。せっかくならいい環境で見たいので、南は沖縄から北は北海道まで星を見に行っています（海外も行きたい）。ただ、星を見に行くとなるとどうしても長距離移動になるので、お金もかかるし大変です。天気に左右されるのもつらいところです。

ということで今回は、遠出しなくてもいろんな星を見ることができるように、VR でプラネタリウムを作ろうと思います。

なお、本記事では Unity そのものの機能や、Shader の基本的な部分には触れず、作成したソースを参照しながら、重要な部分のみを詳細に記載しています。

事前準備等

大方針

VR プラネタリウムを作るためには、VR 空間上で星の配置を再現していく必要があります。実現方針としては概ね以下の 2 つに分かれるかと思います。

1. 実際に宇宙空間を作成し、星をオブジェクトとして配置していく
   • メリット：非常にわかりやすく、実装コストが低い。
   • デメリット：大量のオブジェクトを作成することになるため、負荷が高い。
2. 天球を作成し、天球上に星の絵（テクスチャ）を描く
   • メリット：オブジェクトは天球のみのため、負荷が低い。
   • デメリット：テクスチャの解像度に依存して厳密性が低下する。

ところで皆さんは宇宙にどれぐらいの星（恒星）があるかご存知でしょうか。星の数ほど、というぐらいなので途方もない数であるということはイメージできると思います。結論としては、宇宙の大きさが無限大なので、星の数も無限大です。とはいえ、我々が地球から観測できる星の数は有限であるため、十分な観測技術があれば星の数を数えることは原理上は可能なはずです（現在確認可能な範囲でも数十億個はあると言われています）。

この観測できる星をすべて網羅した、星表と呼ばれるものを作りたい、という野望を天文学者は古より抱いており、紀元前から現代に至るまで様々な星表が作られてきました。ただ、これらの星表はもちろん完璧なものではなく、実際に記載されているのは数十万程度です。

母数が多いので、数十万と聞くと少なく見えますが、決して小さい値ではありません。特に今回は Meta Quest 2 を用いてプラネタリウムを作ろうと思っているので、マシンスペックもそこまで高くありません。そのため今回は、負荷を低減できる方針 2 を採用します。

Shader で Skybox に動的に星を描いてみる

では、天球上に星を描いてみましょう。ただし今回は天球用のオブジェクトは作成せず、Skybox と呼ばれるものを使います。Unity にデフォルトで用意されている、オブジェクトが存在しなければ描画される背景のようなもので、ゲーム空間を取り囲むように配置されています。

Skybox に星の絵を描くに当たり、実際に星空のテクスチャを描いて貼り付けても良いのですが、今回は Shader で動的に星景を作成することにしてみました。理由は Shader を書いてみたかったからです。

Unity では、「ゲーム空間内の(x,y,z)という座標に hoge というオブジェクトが有るから、画面上の(X,Y)座標のピクセルには(r,g,b)という色を出力しよう」という処理を Shader と呼ばれるものが行っています。
つまり Shader に適切な指示を出してもらえば、実態としてはゲーム空間内に何も存在していないにも関わらず、画面上には何かが表示されている、ということができます。

これにより、単純にゲーム空間内に召喚するオブジェクトが減るという効果はもちろんあるのですが、それに加えて Unity では、C#で書かれたロジックは CPU で（ほぼ）直列に処理がされ、Shader は GPU で並列に処理がされます。基本的に描写する対象の数が多いほど、処理の並列度が重要になってくるため、星の表示はすべて Shader にまかせてしまえば、非常に軽快に宇宙を再現できるのではないか、という気がしてきました。
なお、結論から記載すると、これはダメでした。

Shader を書いてみる

Unity の Shader では、HLSL と呼ばれる言語を用いて処理を記述していきます。

とりあえず試しに 2 つ、白と赤の星が表示されるようなものを作ってみたものがこちらの sample1.shaderです。

重要なのは以下のあたりです。

// 星の存在する方向や色、明るさを定義
static const Star stars[2] = {
      createStar(float3(1, 1, 0), fixed3(1, 1, 1), 0.5),
      createStar(float3(0, 1, 1), fixed3(1, 0.5, 0.5), 1),
};

// 背景色を定義
fixed4 drawBackground()
{
      return fixed4(0, 0, 0, 1);
}

// 星を描画
fixed4 drawStars(float3 dir)
{
      float3 o = float3(0, 0, 0);
      for (int i = 0; i < 2; i++)
      {
            float3 direction = normalize(stars[i].direction);
            fixed3 color = normalize(stars[i].color);
            float angle = dot(dir, direction);
            o += color * pow(max(0.0, angle), _radiusCoefficient * (stars[i].magnitude + 2)) * pow(2.5, -1 * stars[i].magnitude) * _brightnessCoefficient;
      }
      return float4(o, 1);
}

// 各ピクセルごとの色を決定
fixed4 frag(v2f i) : SV_Target
{
      return drawBackground() + drawStars(i.texcoord);
}

コメントで書いている通りなのですが、frag()という関数の返り値に応じて、画面上の各ピクセルごとの色が決定されます（#pragma fragment fragという記述で定義しています）

このfrag()の引数であるiのメンバー変数texcoordには、画面内の各ピクセルにおける視線方向のベクトルが格納されています。この視線方向のベクトルと、別途定義している星の存在する方向を示しているベクトルとの内積を取ることで、どのピクセルに星を描画するべきかを決定しているのがdrawStars()です。ざっくり書くと、視線方向と星の存在する方向が同じであれば星を描画し、若干ずれていたとしても、星の明るさに応じてほんの少しは描画する。みたいなことを表現しています。これを星の数だけ繰り返すようループしています。なお、shader では単純なループは適切に最適化され、並列処理が行われます。配列の要素間のやり取りなど、直列実行が不可避なものに関しては並列化されませんが、そもそもそういう処理は GPU で実施することを推奨されません。

さて、この Shader を Skybox に適用するとどのように星が見えるかというと、こんな感じです。

結構それっぽい気がしますね。

ではここからどんどん星を増やしていきましょう。と思ったのですが、以下のような制約の壁にぶつかり続け、結局は断念しました。

• Shader では外部ファイルからデータを読み込んで描画できない。
  • そのため、星の情報をすべてハードコーディングすることになりました。
  • ファイル読み込みを C#で行い、Shader に結果を渡す、みたいなこともできる気がしたのですが、うまく行かず…
• Shader で利用できる配列の要素数に上限があった。
  • 1 配列の要素数、ではなく、全配列の要素数の合計が 4096 以下である必要があるようでした。
  • そのため、配列ではなく個別に変数を大量に宣言することになりました。
• 10 万個の星を描こうとしたところ、Shader のコンパイルがタイムアウトした。
  • 個別変数の数に応じてコンパイル時間が伸びていき、やがてはタイムアウトしてしまいました。
  • 環境変数でタイムアウト時間が設定されているようなので、伸ばすことは可能そうなのですが、とりあえずは星の数を減らして試してみることにしました。
• 1 万個ぐらいの星を描いたあたりで、PC が唸りを上げ始めた。
  • GPU がフル回転を始めました。
  • あと普通にめちゃくちゃ重たくなっていたため、ここで心が折れました。

一応ある程度は描けていたので供養のためキャプチャを掲載しておきます。

なんか、星空って感じではないですね？

もしかしたら色や明るさを計算するロジックにバグがあるのかもしれませんが、心が折れたのでこれ以上は深追いしません。

テクスチャを描いて貼り付ける方針に切り替える

Skybox に動的に星を描く方針は頓挫したし、とりあえず Shader を書いてみるという目的は達成したため、素直にテクスチャを描いて、それを貼り付ける方針に切り替えます。切り替えは大事。

テクスチャを描く

まずはテクスチャを作成するための星のデータを用意します。

今回 VR プラネタリウムを作るにあたって、とりあえずは実際の星空を再現したいので、観測データを用いることにします。冒頭で星表というものを紹介しましたが、今回はその中でも、ヒッパルコス星表というものを使っていきます。ヒッパルコス衛星により取得されたデータを編纂したもので、12 万弱の星のデータが記録されています。NASA がデータを公開してくれているので、こちらから必要なデータを取得していきます。

HIP 番号（name）、赤経（ra）、赤緯（dec）、等級（vmag）、B-V 色指数（bv_color）を選択してダウンロードしました。そのままだと使いづらいので、以下コマンドなどで csv に変換しておきます。

cat hip.txt | sed '1,5d' | sed 's/ \+|/|/g' | sed 's/| \+/|/g' | awk -F '|' -v 'OFS=,' '{print $2,$3,$4,$5,$6}' > hip.csv

この csv をもとにテクスチャを描画するpython スクリプトを作成しました。

ざっくりこんな感じのことをしています。

• 赤経・赤緯を度（degree）に変換して描画する位置を決定する。
• 等級と赤緯から画像上での星の大きさを決定する。
  • 本来星はものすごく遠いため、明るさによらず点として見えるはずですが、人の目の錯覚として明るいものは大きく見えたり、大気による散乱効果が明るいほど強いことなどを踏まえ、明るい星ほど大きく描画しています。
  • 天球を平面のテクスチャで表現するため、赤道部分はそのままに、極地に近づくほど横に引き伸ばした描画とする必要があります。
• 等級・B-V 色指数から各星の色・明るさを決定する。
  • 観測値である B-V 色指数から星の表面温度を推定、黒体を仮定して表面温度から RGB 値を算出しています。
  • 等級が 1 変わると、2.5 倍明るさが変わるので、HSV 色空間における V 値が等級に応じて増減するようにしています。
    • ただし、人の目が明るさ（暗さ）に慣れたり、カメラの露光時間を長くしたりすることで、絶対的な明るさと見かけの明るさは必ずしも一致しないことを考慮し、可変パラメータとしています。
  • 計算の根拠はスクリプト上に参考 URL を記載しています。
• ガンマ補正する。
  • 人間の目やカメラによる補正として、ガンマ補正ができるようにしています。こちらもパラメータは可変です。

スクリプトにより描画したテクスチャがこちらです。

高解像度画像に、小さな星の点を表示しているので、あまりきらびやかではないです。

テクスチャを Skybox に適用する

テクスチャが生成できればあとは Unity に取り込んで、適切に設定するだけです。

まずは Import して、解像度を高めに設定しておきます。

そしたら Skybox 用のマテリアルを作成し、Shader をSkybox/Panoramicに、Mapping をLatitude Longitude Layoutに設定し、テクスチャのところにインポートしたテクスチャを適用します。

最後にメニューの Window -> Rendering > Lighting から Lighting 設定を開き、Environment タブにある Skybox Material に作成した Material をセットします。

これで準備は完了です。VR 環境で見てみましょう。

うーん…とりあえず、星空っぽくはある…？（なんか、オリオン座の形おかしい気がする）。

おわりに

ここまでやっておいてなんなんですが、思ったより微妙でした。
考えられる要因はいくつか有ります。

• 解像度が足りていない。
  • テクスチャの解像度・VR ヘッドセットの解像度ともに、現実世界には遠く及びません。そのためどうしても星というよりは、なんか光っている点、みたいに見えてしまいます。
• 星の数が少ない。
  • 10 万強の星を再現しているとはいえ、当然宇宙に存在するすべての星を再現できているわけではありません。
  • 特に、天の川銀河の外にある銀河の星や、星雲などのデータはヒッパルコス星表には含まれていないため、どうしても実際の星空とは異なってしまいます。
  • この問題を解決するには、実際に世界各地で撮った星景写真をつなぎ合わせてテクスチャを作るしかないかなあと思います。
• 臨場感がない。
  • これは現実のプラネタリウムにも言えることですが、やはり現地で自然に囲まれながら見る星空、というものに、言語化できない魅力があります。気温や風、音など、単に視覚情報に限らない様々な情報が多角的に私達を魅了しているのだと実感しました。
  • 現実のプラネタリウムでは、この問題を、魅力的なナレーションや上映内容によって補っているのだと思います。
  • ゲームの背景など、脇役に据えるのであれば、このぐらいでも良いのかもしれません。

頑張った割にはこんなものか、というオチになってしまい悔しいですが、ともあれある程度のプラネタリウムを再現できたので、夏の自由研究としては良しとします。
ちなみに、今回はヒッパルコス星表のデータを使用しましたが、同じフォーマットでデータを追加することで、自由に星を追加できます。

・・・・・・・・

せっかくなので-75 等星である、「スーパー明るい藤井星」を追加してみました。見てみましょう。

宇宙は、なんか亀裂入ったし光に包まれて終わりました。

ドキュメントもすでに公開されています。

https://dev.epicgames.com/documentation/en-us/uefn/verse-language-reference

現在処理系は、Unreal Editor for Fortnite(UEFN)の中に組み込まれているようですが、Windowsにしか対応していません。ちょろっと動かした程度で、まだコードをしっかり書いてはなくて、プレゼンを見た感想で書いているので、いろいろ間違ったところとかもあるかもしれません。そういうのはご指摘いただいたり、Pull Request（ブログの上の鉛筆アイコンで送れます）を出してもらえれば、と思います。

UEFNのVerseボタンを押すと、こんな感じでVSCodeがぴょこっと起動します。

Verseはメタバース用の言語です。メタバースではすでにある3Dの空間の上に、いろいろな企業や個人がコンテンツを作っていきます。一般的なゲームと違い、どのような3Dモデルがあるか、どのような動き（プログラム）があるかは事前には決まりません。後から追加されたコンテンツをロードしてユーザーが実行するという、スクリプト言語が必要であり、そのために作られた、とあります。

将来的にはオープンソースになり、ブラウザでも動くことを目指しているようです。

10億人規模のユーザーがプレイしている、今まさに動いている環境に後から100万人規模の開発者がコンテンツを作っていくという、そういう世界観です。ある意味、Smalltalkが目指していた世界のさらに先、という感じですね(おっさんにしか伝わらない例)。

基本的な言語設計

関数型言語、オブジェクト指向、命令型のエッセンスを集めて作られた言語となっています。12月に発表されたときは関数型言語、というのを押し出した感じの紹介になっていて、特に追いかけてなかったのですが、色んなパラダイムをバランスよく取り入れている感じがしました。

基本的な設計は今時の言語っぽい感じです。

• mutable/immutable
• 静的型つけ(TypeScript的な後置)
• 構造体
• クラス、インターフェース(継承も)
• ジェネリクス(クラス、関数)
• Pathと呼ばれるネームスペース（Javaのpackageっぽい）

タプルとかもあるし、配列、辞書もあって、タプルで関数の引数をまとめて渡したり、デフォルト引数があったり。

関数型っぽい要素

forループ構文は、他の言語にも良くある構文に一見見えますが、forとは見ないで、C#のLINQだったりJavaのストリームだったり汎用リスト処理っぽいもの、と考えた方が良さそうです。

シンプルな例としては、配列の中の要素に対するループだけど、追加でフィルタを指定できたりするところは面白いですね。

for (X : SomeArray; X <> 100):
    Print(X)

なんかすごいループの例がこれです。マインスイーパの隣接するセルの爆弾の数のカウントを1つのループでするそうな。Y->CellRow:Cellsはループごとに、インデックスをYに、値をCellRowにアサインするようです。その下のX->Cell:CellRowはそれをXとCellにやっていて2重ループになります。そのX, Yに対して隣接する9つのX, Y（それぞれ-1から1のオフセット）の組みを次の2行で作り出しており、4重ループになりました。その後はCell<>AdjacentCellで自分自身をのぞき、　AdjacentCell.Mined?で爆弾があるセルだけにフィルタリングするという・・・値からリストを作り出したりしつつ多重ループをしていくという流れですね。このあたりは関数型を意識した機能になっているように見えます。

for:
    Y->CellRow:Cells
    X->Cell:CellRow
    AdjacentX:=X-1..X+1
    AdjacentY:=Y-1..Y+1
    AdjacentCell := Cells[AdjacentY][AdjacentX]
    Cell<>AdjacentCell
    AdjacentCell.Mined?
do:
    set Cell.AdjacentMines += 1

Fail

if文も他の言語とちょっと違っていて、成功・失敗の可能性のある式に対して適用する、ということになっています。次の式は、インデックスが配列の範囲に入っていて成功したときだけ後ろが実行される、という感じです。今時の他の言語だと、null安全とかで、「nullになっていない」という条件を媒介にして「失敗しないコード」を書きます。しかし、Verseだと、失敗した場合は、関数型言語でいうところの空配列に対してリスト処理する（実行されない）ぐらいの軽い感覚で、アプローチは違いますが、安全なコードをシンプルに書けます。こういう割り切りは面白いな、と思いました。

if (Element := MyArray[Index]): Log(Element)

これらに近いのは、ReactのSuspenseとかErrorBoundaryですかね。正常ケースで書いていくが、未ロード時とか失敗時にはこれらのコンポーネントが拾ってフォールバックします。

トランザクション

ifは他の言語と違うと紹介しましたが、前のFailはまだまだ序の口です。これには述語的な条件文が書けます。この場合、実行後にこの条件にマッチしないと、それまでに行った操作が巻き戻るらしいです。ドキュメントによると、ファイルI/Oやログ出力などの言語の外へのインタラクションとか、no_rollbackがついた処理以外にはこれが適用されるとのことです。

if:
    DoSomeEffect()
    X < 100
then:
    SomethingElse()

これはプレゼンテーションで紹介された言語の基盤となるアイデアの2番目にも書かれています。100万人規模の開発者が並行性を管理する唯一の方法とあります。確かに、絶対成功するのであれば、Goで採用されているCSP(Communicating Sequential Process)はパフォーマンスを維持しつつ並行処理を進めるには最適です。あるいは、やりとりの方向性が一方通行であっても問題はないでしょう。しかし、失敗時のロールバックを別のプロセスに依頼というをミスなく組み込むのは困難です。

ゲームの場合は、たくさんのオブジェクトが並行で動いていて相互に複雑にインタラクションしますので、こういう方向性になっているんじゃないかと思います。ゲームは速度が命、と思われるかもしれませんが、「ボタンを押した」「物体同士がぶつかった」「ビヘイビアツリーの思考ルーチンで何かやることを決めた」みたいなイベントはそれほど多くは起きません。そして、それらによって決まったアクションを毎フレーム実行する（たくさんの破片が回転しながら飛んでいくなど）部分では大量に並行で動作します。このトランザクションは前者のコントロールフロー部分で使い、後者の大量にCPU使って効率を上げられるところはエンジン内部で・・・みたいな使い分けなんじゃないかと思います。

非同期周りの機能が面白い

ゲームだと、同時に発生するさまざまな事象を同時に扱う必要があります。格闘ゲームの開始前のシーケンスを見ても、1P側のキャラクターのアニメーションが再生されて、その後2P側のアニメーションも再生されます。ただ、ボタンを押すとスキップできるよ、とか、ゲージ類が移動アニメーションしながら画面にカットインするとか、そういうやつです。フレームを跨いで処理を記述する必要があり、たいていゲームエンジンには、直列だったり並列のイベントを扱う仕組みがあったりします（以下はCocos2d-xの例）。

Verseでは同期のblockも含めて、5つの制御構文があります。JavaScriptのPromiseと一部似ていますね。syncはPromise.all()相当です。Promise.race()相当はrushで、raceは別物な点は要注意です。

先ほどのFail/トランザクションとの組み合わせでゲームのコンテンツを作る事例が動画にあります。1本のスクリプトだけど、プレイヤーーが特定のエリアに行ったら敵がでる、火が燃える、安全なエリアに到達したら敵を削除、ヘリに乗ったらアニメーション再生して完了など、ユーザーの体験に従ったスクリプトになっています。この複雑なユーザー体験を駆動する部分に、これらの非同期のブロックが活用されています。

Cypressのテストコードがこれに近いものを目指していますが、JavaScriptの上に作り上げているので通常の構文と組み合わせられなくて変数の取り扱いがちょっと不便だったりしますが、これは最初からこの非同期をうまく使うことを考慮しているので、なんかエレガントですね。

トランザクションスクリプト

エリック・エヴァンスのDDD本では、オブジェクト指向型のドメインモデルと対比してトランザクションスクリプトはダメだ、と言っています。

利口なUIについて議論したのは、レイヤ化アーキテクチャのようなパターンが、ドメイン層を隔離するために必要になる理由と、それがどういう時なのかを明確にするためだけだ。利口なUIとレイヤ化アーキテクチャとの中間には、他にも解決策がある。例えば、Fowler（2002）が説明しているトランザクションスクリプト（TRANSACTIONSCRIPT）は、ユーザインターフェースをアプリケーションから分離はするが、オブジェクトモデルは提供しない。
:
他の開発スタイルにもそれなりの存在意義があるが、複雑さと柔軟性において、さまざまな限界があることを認めなければならない。ドメインの設計を分離し損ねると、状況によっては実に悲惨なことになりかねない。アプリケーションが複雑で、モデル駆動設計に取り組むつもりなら、歯を食いしばり、必要な専門家をそろえた上で、利口なUIを避けるべきである。

Eric Evans. エリック・エヴァンスのドメイン駆動設計 (Japanese Edition) (pp.76-77). Kindle 版.

オブジェクト指向はそれぞれのオブジェクトが責務を果たせば、すべてのタスクが正しく完了するという考え方です。センサーオブジェクトが何か信号を得たら、それをオブザーバーオブジェクトが検知して、異常かどうか判定するストラテジーオブジェクトが状態を・・・というように、責務ごとに分担します。DDDはこれを推しています。しっかりしたモデルができれば、新しい機能を追加しようとした場合に、オブジェクトが勝手にやってくれる（ようにすでにプログラミングされている）ので、少ないコードで重複を減らせる、みたいな考えなんじゃないかと思います。

ですが、業務はまずみんなフローで考えます。オブジェクトにしてしまうと、そのフローは複数のメソッドに分かれてしまいます。ステートによって条件分岐が変わるとすると、そのステートが変わるイベントも探して、1本の業務フローがようやく見つけられる、ということになります。

現在の世の中も、ウェブフロントエンドの関数型を取り入れたUIフレームワークが流行ったりして、オブジェクト指向でモデリングというのとは別の流れを作っています。もちろん、オブジェクト指向は有用なことには変わりはないのですが、どちらかというと、配列クラスとかリクエストクラスとか、便利な部品を作るところがオブジェクト指向です。それらを活用してアプリケーションの流れを作る、変化が大きい部分に関数型や手続型を組み合わせる、という流れが一般的になってきているように思います。

エンプラ開発でも、フレームワーク的なレイヤーや共通部品はオブジェクト指向で作っても、SQLを使ってDBの読み書きをして、それをもとに別のクエリーを発行するとか、DBが中心でオブジェクト指向でモデルってあんまり作らないですよね。オブジェクトを作って元気にN+1してもいいんですけど。

Verseは他の言語などをしっかり研究している、とプレゼンの最初の説明にもありましたが、まさに今の世の中が目指していて既存の言語の上に作られたフローをゼロベースから最適な形で実現した言語と言えます。

まとめ

Unreal Engineは、新しいビジョンを作り出し、それを実現するための機能を載せてきます。１２月の発表では、このVerseはOSSであり、Unityなどの別のゲームエンジンでも使えるオープンな標準にしていこう、としています。とはいえ、おそらく業務システムに使えるようになるかどうかというと、そういう未来はすぐには来ないかもしれません。ですが、Verseが解決しようとしている問題とか、それに対するアプローチは、ゲーム業界ではない人にも刺激があるんじゃないでしょうか？ 少なくとも、僕はかなり刺激を受けました。今までの言語とかフレームワークでちょっといまいちだな？ と思っていた部分も鮮やかに解決されていたりして、別の言語の開発でも参考にしたくなりますよね？（トランザクションは難しいですが）。今後もちょくちょく追いかけてみようと思います。

• 参考: Haskellのイベントで発表された言語の紹介

秋のブログ週間2022 の1本目です。

私はしばらく前からVRに興味があり、Oculus Go（2018/05-2020/12）から使っています。MetaのHMDは、最近Oculus Quest Proが発売され、来年2023年後半にはOculs Quest3が発売される可能性が高いという、VRヘッドセットとしては定番の製品です。最近はそこそこVRを利用したサービスや製品が増えましたが、まだ一般的という領域までは広がっていません。ヘッドセットという日常で使わないものが必要な点で、普及しないのでしょう。

モノが普及するには、「人間の欲望を刺激するか業務で使うか」だと思うので、今回は一般の業務利用で使えそうな、バーチャルデスクトップ環境についてお話しをすることで普及の一助になればと思い、書いてみました。

• 本稿の注意事項
• バーチャルデスクトップ環境とは？
• Immersedの場合
• VRの個人的な感想
• 今後のVRの展望

本稿の注意事項

本稿は、これを書いている井上個人の見解であり、Futureグループとしての見解ではありません。
私個人の見解を共有することで、この分野の興味を持っていただいたり、議論のヒントになればと思い、公開します。

• プログラム言語など違い、発展途上で周辺環境が変わりやすい分野と考えます。その為、気が付けば常識が変わっている、という事は十分あり得ます。
• 体験しない事には議論ができない分野でもあるため、まずは興味を持つ/体験することが重要と考えます。
• VR関連に関する読み物、という感覚でご覧ください。

あと、この記事を書くことで、会社でバーチャルデスクトップ使えるようにならないかな…、という下心もあります（後述のセキュリティ問題を気にしないといけないので、難しいかも）。

追加説明が必要そうな単語は、「（※）」を付けており、本稿最後の章に補足説明を記載しています。

バーチャルデスクトップ環境とは？

PC作業をVR上で行うための環境、と言えます。VR空間にディスプレイを配置し、そこでいつも通りPC作業をする感じです。

バーチャルデスクトップの利点としては以下が挙げられます。

• 物理的なモニタが不要になる
• 作業環境を自由に変更できる
• ヘッドセットで視界が奪われる為、集中力が高まる

物理的なモニタが不要になる点ですが、PCとヘッドセットをリンクすることで、VR上に仮想モニタを含むデスクトップ環境を表示します。アプリケーションによりますが、複数モニタを仮想的に配置でき、外付け物理ディスプレイを持っていないノートPCでも 3画面作業 ができたりします（但し、一般的には解像度がFHD程度が限界。ヘッドセット側の解像度や処理負荷に依存する為）。屋外でFHDを3-4画面を使った作業が、ヘッドセットのみで実現できます。

作業環境の自由な変更については、例えば「喫茶店」「森の中」「ビーチ」「映画館」「宇宙」などの周辺風景を設定できます（但し、アプリケーションによる）。同時に、環境音も実装されていることが多いので、「喫茶店でBGMを聞きながら」や、「森の別荘で鳥のさえずりを聞きながら」で作業できたりします。出社して仕事をしているが気分転換に喫茶店で少し作業する、のような感覚で作業環境を変えられます。

そして集中力が高まる件ですが、リアルの視界がほぼ奪われ、VRとして作成された必要な情報のみが目に入ってくるので、集中力が途切れづらいという利点があります。自宅のごちゃごちゃした部屋でリモートワークをするのと、（見た目だけは）山小屋で暖炉の音を聞きながら仕事をするのでは、雑念の入り方が違いますよね。

ワーケーションで使えれば、ショルダーハッキング（※）の心配をしなくて済むので、便利なものだと思います。

そんな利点のあるバーチャルデスクトップ環境ですが、例えばOculus Quest2で使えるアプリケーションだと以下があります。

• Immersed (https://www.immersed.com)
• VertualDesktop (https://www.vrdesktop.net/)
• BigScreen (https://www.bigscreenvr.com/)
• Meta Holizon Horkrooms (https://www.meta.com/jp/work/workrooms/)
• etc..

この中で仕事やプログラミング等の作業で使うなら、Immersedが使いやすかったので、これを例に紹介します。その他のアプリケーションも数年前から格段に進化しているのですが、例えば「みんなで集まって映画を見る」のように、作業用途には合わないものもあります。

Immersedをとり上げますが、特定の製品をとり上げるというより、「プログラミングの話をするときにGo言語を例に話す」のような説明のための手段や実装例として取り上げています。他の製品でも同様のことはおそらくできるはずです。

Immersedの場合

Immersedで便利な機能は、以下のようなものがあります。

• 仮想モニタ機能
  • 実機にモニタが無くても、仮想的にモニタを追加できます。
  • 他のアプリケーションだと、実機に接続されているもののみ、1枚だけのみ、というものが多く、ビデオカードなしに複数枚モニタを追加できるものは現時点ではImmersedのみのようです。
  • 但し、モニタ数が多くなると負荷が高くなる、FHD(1920×1080)に抑えられてしまう、という制限はあります。リアルで4Kモニタを付けていても、FHDになります。
  • 解像度は処理負荷に直結し、処理負荷増大はフレームレート落ちを招き、それにより実用に耐えなくなるので、仕方がないと思われます。
• 仮想カメラ機能
  • VR上でバーチャルなWebカメラを利用できます。画像3枚目は、zoomに参加している例です。
  • これにより、Webオンラインミーティングにバーチャルデスクトップ環境で参加した際に、アバターを表示できます。
    • VR上で会議をすれば全員アバターでコミュニケーションを取れますが、相手がヘッドセット等を持っていない場合は、ZoomやGoogle meetやMicrosoft Teamsのようなものを使う事になると思います。その際に違和感なく（？）参加者画面を表示できます。
• 部分的パススルー機能
  • VR上でデスクトップを操作する際、普通は物理キーボードやマウスを見ることができません。
  • 今までは「特定製品であれば自動認識して、VR上に表示できる」という手法が探られていましたが、現在は「VR上でキーボードがある部分だけパススルー（※）で現実を見せる」という方法で物理キーボード等を見ることができるようになりました。画像1,3枚目下側の黒い長方形の部分が、パススルー表示されている部分です。スクリーンショットではパススルー内容は記録されないようです。
    • 自作分割キーボードは、カメラで認識してそのオブジェクトをVR上に表示する、のは至難の業です。それであれば、キーボードがある部分だけパススルー出来る機能の方が簡単に問題を解決できますね。
  • 慣れていれば「ブラインドタッチや勘で探り当てる」や「ヘッドセットの鼻付近の隙間から手元を見る」などで対処できますが、パススルーで見えたほうが分かりやすいですね。

これらの機能を組み合わせ、VR上のカフェでBGMを聞きながら3枚モニタでこの記事を書いていたりします。

使い勝手

「4Kモニタを使わないと見ることができないような多量なデータを処理する作業」には向いていませんが、「通常の作業」には支障が無いと思います。WordやExcelやWebブラウズ、メール確認などはそれほど大きい解像度は無くても大丈夫だと思います。

• モニタを自由に複数枚配置できるので、首や目に優しい気がします。
  • 解像度はFHDですが、奥行き/上下/傾き/湾曲 を制御できます。
• 集中力が高まる、かもしれません。
  • 私の自宅のリモートワーク作業部屋はデバイスで溢れているので、ヘッドセットでそれらを見ないで済むことで集中できています。部屋がきれいな人は…知りません。
  • 競走馬もそうですが、視界の制限が集中を促すと考えます。
    • 私は土日にプライベートの作業をすることが多いのですが、”09:00に始めて、気がついたら17:00だった”という事も多々あります。それくらい集中出来ました。
• 気分転換がしやすい。
  • いつもはカフェで作業しますが、時々、洞窟や山小屋に変えることで、バーチャルワーケーション気分を味わえます。必要なら、Richo THETA（360度カメラ）で撮った画像なども背景にできます。
  • これを緊急作業等の泊まり込み残業に応用すると、バーチャル帰宅もできるはずです。最近はVR睡眠（※）という話もありますが、本稿の話題ではないので割愛します。

VRの個人的な感想

バーチャルデスクトップが流行するかは、バーチャルデスクトップだけの話では無く、それを構成する要素である「VR」自体の普及に依存すると考えられます。
この章では、バーチャルデスクトップにとどまらず、VR自体について考えてみたいと思います。
尚、あくまで筆者の個人的な感想/考えとなります。

バーチャルデスクトップ、ひいてはVRが普及しない原因を考えてみると、以下のような原因がありそうです。

• VR利用自体が、非日常の活動
  • HMDを付けるという行為が、例えばスマホを使う程度の心理的障壁にならないと、VRが流行ることは無いような気がしています。
  • HMDを付ける手間と、それにより得られる利便性が、今は均衡が取れていないため使われていないと思われます。
• VR酔いが存在する
  • FPSゲームで酔うように、VR利用でも酔う事があります。これは、視覚による情報と三半規管による情報が乖離していることで発生すると考えられます。「乗り物酔い」や「3D（ゲーム）酔い」等と同じです。
  • バーチャルデスクトップ利用であれば、この部分は大幅に影響が無いと考えられます。
    • VR酔いをする場合は、画面は大幅に動いている（=加速度等が発生すると脳は認識している）のに実際は一切動いていない為、視覚と三半規管の認識にずれが生じるからと考えられます。
    • バーチャルデスクトップの場合、椅子に座って利用する為に下半身が固定されており、可動域は三半規管の認知範囲に収まっています。その為、認知差はほぼなく、比較問題として酔いづらいと考えられます。
    • 但し、処理能力不足等でフレームレートが低い場合、酔いは発生します。私は酔いました。フレームレートが低く画面が断続的に描画されることで、描画間の加速度等の認知で問題が発生すると思われます。故に、バーチャルデスクトップにおいては、適切な解像度や仮想モニタ数でフレームレートが落ちない程度にする必要があります。
• 社会が対応していない
  • 例えば、今働いている会社の情報システム部に「明日からバーチャルデスクトップで作業したいので、通信許可をしてください」といっても、許可されることはほぼほぼ無いのではないかと思います。特に情報漏洩対策等でネットワークの制限等を行っている組織では、限りなく不可と思われます。
  • これはそもそも仕方のない事で、どのような通信が行われるのか、それによる会社資産への影響はどの程度か、セキュリティ的なリスクは何があるのか、などが通常は知らないし考えたことも無いからですね。
  • その為、通信要件等を把握する、利用に際したリスクを洗い出す、等の明確化が必要です。そしてこれらを検討すること自体がコストなので、会社として「使ったらよい事がある」（コストを下げられる、作業効率が上がる、等）ことを認識させる必要がありそうです。故に、会社と関係ない場面で使い有用性を広める、という活動で「そういうものがあるんだ」という認識を広めることが重要かもしれません。そしてこの記事がそれだったりします。
  • その点、必要と認識された業務範囲や業界では、普通に利用されています。
    • 例えば、研修分野などは積極的に活用されていると思われます。溶接であったり、自動車保険の被害査定研修であったり、医療での手術研修などもあります。実際に物理で実施するよりも安全かつ安価に実施できるという利点があるため、利用されています。
    • これはあくまで「研修」という範囲であるため、セキュリティ的に侵害されても会社資産情報が漏洩することは無い、などの分離がされているためとも思われます。その点、バーチャルデスクトップは社員端末の代替えとすれば、難しいことも確かです。

VRとセキュリティ

前述の通り、VRでもセキュリティ観点で物を考える必要がありそうです。VRでのセキュリティは、一般的なコンピュータシステムのセキュリティと、VR特有のセキュリティの両面から対応する必要があると思われます。

• フローとしてのセキュリティ
  • VRで何かを実現する際の、実現したいことに対するスキームやフロー自体のセキュリティ対策が必要です。
• 実装としてのセキュリティ
  • 上記フローを実装した際の、セキュリティ対策が必要です。
  • 例えば…
    • 利用する環境自体のセキュリティ
      • UnityやUnrealEngineなどの利用技術のセキュリティ対策が必要です。利用アプリケーションのバージョン管理やセキュリティ更新などが含まれます。
      • VRプラットフォームとしてのClusterやVRChatなどのサービスのセキュリティレベルも検討する必要があります。サービス提供側の設計に依存します。
        • 認証認可、保持する情報、侵害リスク、等の検討が必要かもしれません。例えば、aws自体はセキュリティ機能は持っているが、ユーザが設定し忘れた/設定ミスした、のような状態が無いようにする必要があります。
    • 環境上での実装のセキュリティ対策が必要です。
      • 利用技術やプラットフォーム上で、自らが構築したもののセキュリティ対策は、自分自身で実施する必要があります。
        • Webシステムで言えば、自作のWebアプリが該当します。前述の環境自体は、ミドルウェアやOS層に該当します。
        • 例えば、侵入不可に設定し忘れた領域、他者からVR上で入力した情報が見えてしまう設計、VR上での資産に対するセキュリティ、等が考えられます。これらはおそらく自動検査は難しいと思われ、ペネトレーションテストのようなデバッグ作業が必要になると思われます。
    • 通信経路におけるセキュリティ
      • どこからどこへどのような内容が送受信されるのか、暗号化は適切なレベルなのか、等の通信のセキュリティ対策も必要です。
• 利用者自身へのセキュリティ
  • 利用者の物理的な安全保護対策が必要です。
    • 視界がヘッドセットにより奪われる為、周囲への物理的な安全確保が必要となります。
      • 利用環境の適切な設計、利用者外人員での監視、等で保護する必要があります。
      • 自宅リモートワークなら自宅の安全性に依存、会社オフィスであればオフィス内での安全性に依存しています。宅外リモートワークやワーケーション時に注意が必要です。
      • 保護に関しては、怪我等もありますが、悪意を持って接触される可能性も考慮が必要です。
  • 利用者への心理的な保護対策が必要です。
    • 意図をもって、利用者の認知を歪ませる/誤認させる状況への対処が必要と思われます。HMDで表示するVRや、利用者への環境に対する働きかけなどが想定されます。
    • これらはおそらく心理学などの分野と強調する必要もあるかもしれません。

今後のVRの展望

VRの文脈でメタバースが語られることも多いですが、メタバース自体は「体験を得るための”手段”」までは規含まれていないと考えます。メタバースに参加する際、iPad等で2Dとして参加する（表現上は、3Dを2Dで描画している）というのは割と普通かと思いますし、VRでフルトラッキング（※）で参加する人もいます。参加コストとしては2D描画となる、PC/タブレット/スマホでの参加が大多数と思われます。故に、メタバースが一般化/進化しても、VRが同時に一般化するとは限らないです。同じメタバース内でも、2D/VRでは得られる体験が異なるため、メタバースとVRは切り離して考えてもいいかもしれません。

一部とはいえVRが浸透してきたのは、機材の低価格化/軽量化もあると思われます。今まではハイエンドPC＋外部トラッキング装置＋いろんなケーブルで数十万だったのが、Oculus Questにより5万円台で「HMD単体で使える」ようなりました。また、Googleカードボード（スマホを使った簡易VR）もありました。今後は、求められる機能的/性能的には5万円台より下がることは無いような気がするので、普及するには「利用したいと思えるコンテンツが増える」「使った方が有利である状況が増える」事が増える必要があります。ハードウェア的にはフェイストラッキングやアイトラッキングも活用されていくようです。

会社の通常業務でVRが使えると、普及するかもしれません。複数のモニタを使う人達は、バーチャルデスクトップ環境を使う事で「物理モニタ」という資産が不要になりますし、モニタ設置スペースも不要になります。また、作業環境を変えられるので、VRリモートワークも可能です（そして、残業時のVR帰宅も…）。社員を物理的な場所から解放する、という点では良いと思うのですが…

現状では「日常使い」が一般的に難しいので、日常生活に普及していくのは難しいと思われます。しかしながら特定分野では着実に実績を伸ばしているため、用途が見つかれば突然一部に普及する、という可能性はありそうです。VRはあくまで手段であり、その手段が有効である状況が発生すれば普及しそうです。日常が便利になるか/楽しくなるか、という点で興味があるので、引き続きVRやメタバースに注力していこうと思います。

用語とか

• ショルダーハッキング：
  • 画面やキーボードを肩越しにのぞき込んで情報を搾取する方法。VRであれば、ヘッドセット内に表示されるので画面ののぞき込みは防げる。キー入力はVR上に表示されるソフトキーボードを利用することで、のぞき見はされない。
  • ヘッドセットを利用して作業する場合、物理的に不審なことをされない場所を選ぶことも重要。ヘッドセットで視界を完全に塞がれるので、何かをされないような環境（管理者のいるコワーキングスペース等）に身を置く必要がある。
• パススルー：
  • ヘッドセット外部の映像を、VR上に表示すること。
  • Oculus Questの場合は、低解像度/モノクロの外部カメラがヘッドセットについており、その映像をVR上に透過表示している。
  • Immersedの場合、キーボードがある範囲のみをパススルーで表示する、任意の一部分だけパススルーする、全体をパススルーする（低解像度/白黒の周辺風景にモニタを浮かばせる）を複数選択できる。
  • 私の場合、キーボード～トラックボールの並びをパススルー表示、ハンドトラッカーをノートPCのタッチパッド上に置いているので部分的にパススルー、という利用をしている。
• VR睡眠：
  • HMDを装着したまま、VR空間で寝ることを指す。
  • 睡眠だけというより、他者との睡眠迄の空間共有を楽しむことが多いようだ。泊りの旅行、パジャマパーティー、等に類する行動に近い。VRChatで行われることが多いようだ。
  • 研究結果として、VRは不眠症の症状を改善する、というものもあるようだ。但し、HMD自体が睡眠に最適化されていない為、慣れないとストレスになる。
    • Quest2などは外部カメラにより6DoFを実現しているため、”寝室で電気を消す”状況だとトラッキングができなくなる。HMDの遮光性を利用して、明かりをつけたまま寝ることになる。
• フルトラッキング：
  • 一般的にHMDを付けてVRを利用する際は上半身だけのトラッキングを利用しているが、下半身を含めた体全体の動きをトラッキングすることを、フルトラッキングという。
  • Quest2の場合は、手先のトラッキング（ハンドコントローラ、若しくは外部カメラによる手の認識）とHMD自体の6DoF（The six degrees of Freedom:forward/back,up/down,left/right,pitch,yaw,rollの6自由度）で認識している。その為、例えば肘は手の動きと胴体から推定されているし、下半身は移動と上下動で推定されている。
  • 下肢などに複数のセンサーを設置する/外部からカメラなどで読み込む事で、全身の動きをトラッキングする（フルトラッキング）。
  • ただ、VR自体の一般用途は会議であったり会話によるコミュニケーションであるため、下半身のトラッキングが必須となる場合は限定されると思われる。現時点では、フルトラッキングの方が表現力が上がるというものであり、無くてもコミュニケーション上は問題ないと思われる。

こんにちは。TIG DXユニット所属、金欠コンサルタントの藤井です。
最近、長らく買おう買おうと思っていたMeta Quest 2をとうとう買いました。

夏の自由研究ブログ連載2022 2日目のこの記事では、このMeta Quest 2向けに作ってみた、VRテルミンシミュレータというものを題材に記事を書きます。
作ったものはこちらです。readmeの動画は音量注意かもしれません。

https://github.com/shomuMatch/thereminSimulator

自分で作成したリソースと、ビルド後のapk、サンプル動画のみ配置してあります。

apkは自由に使っていただいて構わないので、うまく演奏出来たら教えてください。
ところでGitHub、readmeに動画置けるようになっていたんですね。

前提知識

Meta Quest 2とハンドトラッキング

皆さんご存知の通り、Meta Quest 2（以下、Quest2と略記）はMeta（旧Facebook）社が開発・販売しているVRヘッドセットです。

Meta社の社名変更前はOculus Quest 2という名前で販売されており、こちらの名前の方がなじみ深い方も居られるかもしれません。

詳細なスペック等は公式情報¹を参照頂くとして、このQuest2には前面に4つのカメラが搭載されています。この4つのカメラの画像を元に位置・回転のいわゆる6DoFの情報を特定できるのですが、このカメラは他の目的にも利用できます。

その1つが今回用いるハンドトラッキング。カメラの画像から手を検出し、手の各部位の位置を特定、入力情報として用いるための機能です。

テルミン

テルミンというのは、レフ・テルミンという人が1920年にロシアで発明した楽器の名前なのですが、楽器の中でも電子楽器と呼ばれるジャンルに分類される楽器です。

電子ピアノや、キーボード等が電子楽器の例ですが、電子回路によって音の信号を作り出す物を総称して電子楽器と呼びます。テルミンはこの電子楽器の中でも世界最古の電子楽器であり、その特徴は何といってもテルミンそのものに触れることなく演奏できるという、一見不思議な楽器です。

もちろん演奏と言うからには、音量や音程等をコントロールする必要があるのですが、演奏者はこのコントロールを楽器に触れずに行うことができます。テルミンからは2本のアンテナが伸びており、このアンテナと演奏者の手の距離に応じて音量・音程が変動します。

高校時代に何かの折でテルミンを知り、一度演奏してみたいと思っていたのですが、その夢が叶う時が来たようです。

概要原理

では、どうやって触れずに演奏するのか、一言で言うと、演奏者自身が楽器の一部となるように設計されています。

最初から演奏者が楽器に含まれているので、改めて楽器に触れずとも演奏が可能であるという、どうやったらそんな発想に至れるのかという仕組みでテルミンは動いています。
とても簡単に構成図を書くとこんな感じです。

この仕組みをシミュレーションしたいので、数式に落とし込む必要があるのですが、少し話が膨らんでしまうため、より詳細な原理については後回しにします。

詳細原理の項に記載しておくので、先に読みたいという方はそちらからお読みください。

作ってみる

それではテルミンシミュレータを作っていきます。
開発環境は以下です。

• IDE: Unity 2021.3.7f1(LTS)
• 入れたモジュール
  • Android Build Support
    • OpenJDK
    • Android SDK & NDK Tools
• テンプレート: VR²
• 入れたパッケージ
  • Oculus Integration

また、Quest Link（Quest2をPC用のVRヘッドセットとして使える機能）を使うと、都度ビルドせずともQuest2実機を用いてテストプレイができるのですが…

ダメでした。記事を書きながらPCを注文したので、また今度こちらも含めて環境構築記事を書きます。

初期設定

まずはメニューのAssets > Create > SceneからSceneを作成しましょう。
今回はScene間の遷移はしない想定のため、ThereminSimulatorと言う名前のSceneを1つ作成しました。

続いて、ハンドトラッキングができるよう、ProjectのAssets > Oculus > OculusProjectConfigを選択し、GeneralのHand Tracking SupportをHands Onlyに設定します。

Oculusストアでアプリを公開したい場合は、Controllers and Handsに設定する必要があるようです。
Hand Tracking Versionはデフォルトでも良いですが、V2に設定しておきます。

次に、メインプレイヤーになるOVRCameraRigと、ハンドトラッキング結果を表示するためのOVRHandPrefabを以下の様に配置します。

この際、デフォルトで配置されているMain Cameraは削除しましょう。

右手用にRightHandAnchorの子として配置したOVRHandPrefabのInspectorを見ると、以下の3か所に手の左右を選択する部分があるため、全てHand Rightに変更します。

• OVR HandのHand Type
• OVR SkeletonのSkeleton Type
• OVR MeshのMesh Type

デフォルト値がHand Leftであるため、左手用のOVRHandPrefabは変更不要です。

ここまでで、ハンドトラッキングの初期設定は完了です。
ビルドして動かしてみるとこの通り、フレミングの左手の法則も、右ネジの法則もばっちり表現できます。

想像以上にトラッキングの精度が高くて驚きましたが、手を握るなどするとトラッキングできなくなるため、使いどころには注意が必要かもしれません。
（急に自分の手が消えたので、結構焦りました）

あとはテルミンや床を置いたり、位置やサイズの調整をしましょう。こんな感じになりました。

Quest2で見るとこんな感じです（最初テルミンのサイズを間違えてとんでもないサイズのテルミンに潰されかけました）

実装する

実装の流れ

さて、テルミンを実装していくにあたり、以下が必要になります。

1. トラッキングした手の各部位の位置情報の取得
2. ↑により決定される発振回路の発振周波数と音程・音量の計算
3. ↑により決定された音の出力

では、上から順にやっていきましょう。

トラッキングした手の各部位の位置情報の取得

まず、手の各部位の位置情報ですが、OVRHandPrefabにアタッチされているOVRSkeletonクラスのBonesに格納されています。

手の各部位にボーンが割り当てられており、そのTransformを取得することが出来ます。こちらの記事にボーンと部位の対応図が載せられているので、ご参考ください。

手のひらのボーンは無いため、小指と親指は0番目、それ以外の指は1番目のボーン位置の中心を手のひらの位置として扱うことにしましょう。指の位置は各指の3番目のボーン位置とします。

以下のメソッドに位置を取得したい手のOVRSkeletonを渡せば、各部位のpositionの配列が返されます。

private Vector3[] getHandPositions(OVRSkeleton skeleton)
{
    if (!(_leftHand.IsTracked && _rightHand.IsTracked))
    {
        return new Vector3[] { };
    }
    Vector3 palmPosition = (
        skeleton.Bones[(int)OVRSkeleton.BoneId.Hand_Thumb0].Transform.position +
        skeleton.Bones[(int)OVRSkeleton.BoneId.Hand_Index1].Transform.position +
        skeleton.Bones[(int)OVRSkeleton.BoneId.Hand_Middle1].Transform.position +
        skeleton.Bones[(int)OVRSkeleton.BoneId.Hand_Ring1].Transform.position +
        skeleton.Bones[(int)OVRSkeleton.BoneId.Hand_Pinky0].Transform.position
        ) / 5;
    return new Vector3[]{
        skeleton.Bones[(int) OVRSkeleton.BoneId.Hand_Thumb3].Transform.position,
        skeleton.Bones[(int) OVRSkeleton.BoneId.Hand_Index3].Transform.position,
        skeleton.Bones[(int) OVRSkeleton.BoneId.Hand_Middle3].Transform.position,
        skeleton.Bones[(int) OVRSkeleton.BoneId.Hand_Ring3].Transform.position,
        skeleton.Bones[(int) OVRSkeleton.BoneId.Hand_Pinky3].Transform.position,
        palmPosition
        };
}

手がトラッキングされていない場合は、空の配列を返却するようにしておきました。

発振回路の発振周波数と音程・音量の計算

次に、テルミンから出力される音の音程・音量を計算します。
簡単のため、以下の制約を設けます。

• 音程コントロールは右手、音量コントロールは左手で行い、反対側の手は考慮しない。
• 音程コントロールはX-Z平面（水平面）内での距離、音量コントロールはY軸（鉛直）方向の距離のみを考慮する。
  併せて、計算に用いる定数を定義しておきましょう。
  ここのパラメータにより、テルミンの特性が決まります。

private const float PITCH_INDUCTANCE = 10.0e-6f; //音程コントロール側に使用するコイルのインダクタンス
private const float PITCH_CAPACITANCE = 1.0e-9f; //音程コントロール側に使用するコンデンサの静電容量
private const float VOLUME_INDUCTANCE = 1.0e-4f; //音量コントロール側に使用するコイルのインダクタンス
private const float VOLUME_CAPACITANCE = 2.0e-11f; //音量コントロール側に使用するコンデンサの静電容量
private const float VOLUME_RESISTANCE = 1.0e1f; //音量コントロール側に使用する抵抗器の抵抗
private const float PERMITTIVITY = 8.854e-12f; //真空の誘電率（真空中で演奏することにします）
private readonly float[] HAND_AREAS = { //手の各部位の面積
    11.0e-4f,
    15.0e-4f,
    17.0e-4f,
    15.0e-4f,
    13.0e-4f,
    80.0e-4f
};

音程・音量どちらにしても発振回路の発振周波数を用いるため、まずは発振周波数の計算に用いるメソッドを定義します。
数式が共通なので、バンドパスフィルターの共振周波数もこのメソッドで計算します。

private float getOscillatingFrequency(float inductance, float capacitance)
{
    return 1 / (2 * Mathf.PI * Mathf.Sqrt(inductance * capacitance));
}

あとは上記仮定を元に、数式に基づいて音量・音程を求めるだけです。

private float getPitch()
{
    Vector3[] handPositions = getHandPositions(_rightSkeleton);
    Vector3 antennaPosition = _pitchAntenna.position;
    float capacitance = 0;
    for (int i = 0; i < handPositions.Length; i++)
    {
        handPositions[i].y = antennaPosition.y;
        float dist = Vector3.Distance(handPositions[i], antennaPosition);
        capacitance += HAND_AREAS[i] / dist;
    }
    capacitance *= PERMITTIVITY;
    capacitance += PITCH_CAPACITANCE;
    float fix_frequency = getOscillatingFrequency(PITCH_INDUCTANCE, PITCH_CAPACITANCE);
    return Mathf.Abs(fix_frequency - getOscillatingFrequency(PITCH_INDUCTANCE, capacitance));
}

private float getVolume()
{
    Vector3[] handPositions = getHandPositions(_leftSkeleton);
    Vector3 antennaPosition = _volumeAntenna.position;
    float capacitance = 0;
    for (int i = 0; i < handPositions.Length; i++)
    {
        float dist = Mathf.Abs(handPositions[i].y - antennaPosition.y);
        capacitance += HAND_AREAS[i] / dist;
    }
    capacitance *= PERMITTIVITY;
    capacitance += VOLUME_CAPACITANCE;
    float gainFrequency = getOscillatingFrequency(VOLUME_INDUCTANCE, capacitance);
    float gain =
        1 /
            Mathf.Sqrt(
                1 +
                Mathf.Pow(
                    1 / (2 * Mathf.PI * gainFrequency * VOLUME_RESISTANCE * VOLUME_CAPACITANCE) -
                    2 * Mathf.PI * gainFrequency * VOLUME_INDUCTANCE / VOLUME_RESISTANCE,
                    2
                )
            )
    ;
    return gain;
}

なお、音量コントロール側も音程コントロール側も、手の位置で決まる静電容量に、固定の静電容量を加えています。
手をかざしていない間に変な音が出ないように固定するためです。

あとはこれらをUpdate()から呼び出して、1フレームごとに周波数と音量を計算しましょう。
アンプを通した気持ちになって、ボリュームは3倍した上で一定幅内（0.1から1）で収まるようにしています。
なお、周波数とボリュームはメンバー変数としてあらかじめ宣言しておきます。

private float frequency;
private float gain;
void Update()
{
    frequency = getPitch();
    string scale = getScale(frequency);
    gain = Mathf.Min(getVolume() * 3, 1);
    if (gain < 0.1f)
    {
        gain = 0;
    }
}

音の出力

それでは実際に音を鳴らしていきましょう。

まずはテルミンのオブジェクトにAudio Sourceのコンポーネントを付与し、音を鳴らせるようにしておきます。すると、音を鳴らす前に（AudioClipをセットしていなくても）OnAudioFilterRead()が呼び出されるので、ここで直接音の情報を書き込んでしまいます。本来はフィルターをかけたりすることが目的のメソッドですが、音情報を書き込むこともできます。

前段で音程・音量の情報をメンバー変数に記録しているため、あとは正弦波の音情報を書き込むのみです。

サンプリング周波数はデバイスに依存するため、Start()内で取得しておきましょう。サンプリング周期ごとに位相と振幅を計算し、書き込んでいます。ステレオ音源にする意味は無いので、両チャンネルに同じ値を書き込んでいます。

void Start()
{
    sampling_frequency = AudioSettings.outputSampleRate;
}
void OnAudioFilterRead(float[] data, int channels)
{
    increment = frequency * 2 * Mathf.PI / sampling_frequency;

    for (var i = 0; i < data.Length; i = i + channels)
    {
        phase = phase + increment;
        data[i] = (gain * Mathf.Sin(phase));
        if (channels == 2) data[i + 1] = data[i];
        if (phase > 2 * Mathf.PI) phase = 0;
    }
}

これで音が鳴るようになりました。

演奏してみる

ではビルドして、演奏してみます。

Quest2とPCを接続し、Build SettingsからPlatformをAndroidにし、作業していたSceneが追加されていることを確認してBuild And Runします。

しばらく待つと、Quest2側で起動しているので、試しに演奏してみました。↓に動画を配置しているのでご覧ください。
※音量注意かもしれません。

https://github.com/shomuMatch/thereminSimulator

想像の80倍ぐらい難しくて、ロクに演奏できませんでした。きらきら星を演奏しているつもりです。

周波数が連続的に変化していくので、半端な音が出がちなのと、どれぐらい動かせばどの音階になるのかが全くつかめず…低音域だと大きく手を動かさないといけないのに、高音域だと少し動かしただけで一気に周波数が変わるため、脳が混乱し続けていました。

ちなみに実際のテルミンを演奏したことは無いので、実物もこれぐらい難しいのかはよくわかりません。

ちなみに、後ろに今の音の周波数と音階、ボリュームも出るようにしておきました。
それを見ながらならもう少しマシに演奏出来る気もするのですが、動画としてどうなんだという気がしたのでやめておきました。
（Quest2の録画機能だと、プレイヤーの視点がそのまま録画対象になるため）

おわりに

テルミン、とても難しい。

というのはさておき、Quest2のハンドトラッキング、とても簡単かつ高精度に手の動きを入力できて、非常に可能性を感じました。

今回は一度演奏してみたかったテルミンを作ってみましたが、なんだかもっといろんなことができそうです。

VRにおける最も大切なものは、没入感であると個人的に思っています。

自身の体をそのまま入力装置として扱えるハンドトラッキングは、今後のVRの発展に不可欠なのでは、と思った自由研究でした。

夏の自由研究ブログ連載2022 明日もお楽しみに！

補足

詳細原理

さて、後回しにしたテルミンの詳細原理とその数式化について記載します。

テルミンに限らず、電子回路にはコイル・コンデンサ・抵抗の3つの素子が良く使われます。

この内、コンデンサというのは少し特殊なつくりをしていて、2つの導体（電気を通す物体）で絶縁体（電気を通しにくい物体）を挟み込むような形をしています。導体は電気を通すが、絶縁体は電気を通しにくいので、コンデンサに電圧をかけると導体の絶縁体付近に電気がたまるという仕組みです。導体の例としては、鉄や、人体などが導体です。絶縁体はゴムや、空気などです。

勘の良い方は気づかれたかもしれませんが、例えば鉄板から少し離れて手のひらをかざすと、これだけでコンデンサができます（絶縁体は間の空気）また、コンデンサに使われる導体を、極板と呼びます。

この鉄（アンテナ）・空気・人体で構成されたコンデンサを電子回路に取り込んだ楽器がテルミンなのです。

2つの発振回路で音程コントロール

さて、テルミンには上記の3つの素子を用いた、発振回路と呼ばれるものが音程コントロールのために2つ組み込まれています。発振回路と言うのは、発振周波数と呼ばれる周波数の正弦波の電気信号を作り出す電子回路のことです。

発振回路の種類にもよりますが、例えばハートレー発振回路と呼ばれるものだと、発振周波数はコイルの特性値であるインダクタンス（L）とコンデンサの特性値である静電容量（C）を用いて以下の数式で求められます。

一方の発振回路には演奏者を取り込まず、固定の周波数で発振する（電気信号を作る）ようにしておき、もう一方の発振回路には演奏者をコンデンサの片方の極板として取り込みます。

すると、演奏者の操作によりコンデンサの静電容量が変動し、片方の発振回路の発振周波数が変動します。この2つの発振回路の発振周波数の差を電気信号として出力、音に変換する（これはスピーカーの役割）ことで、音楽を演奏できます。

ここまでをまとめると、最終的にテルミンから出る音の周波数（≒音程）は以下となります。

静電容量は演奏者の挙動（これはさらに時間に依存）に依存することを明記するため、時間を変数として記載しています。

もう1つの発振回路と共振回路で音量コントロール

テルミンにはもう1つ、演奏者をコンデンサとして取り込んだ発振回路が含まれており、こちらは音量をコントロールするためのものです。
また、音量コントロール用の回路には発振回路に加え、共振回路（バンドパスフィルタ）と呼ばれる、特定の周波数帯の電気信号を通す回路が組み込まれています。
共振回路に周波数の電気信号を流すと、以下の式に従って、その信号は減衰します。

上記より、入力の周波数が以下の（共振周波数）であるとき、出力は最大となります。

つまり、演奏者の操作により、発振回路の発振周波数が共振回路の共振周波数に近づけば出力は大きく、遠ざかれば小さくなります。
この出力を、最終的な音量として用いることで、テルミン自体の音量を操作します。

演奏者による静電容量の変化

さて、ここまでで、演奏者による静電容量の変化に応じて音量・音程が操作できることを見てきました。
では、はどのように変化するのでしょう。

これを厳密に求めることは実質的に不可能であるため、演奏者を含む発振回路のコンデンサは、以下の図のような構成であるとモデル化してみましょう。

要するに、演奏者の手のひらから先だけを演奏者側の極板として扱い、テルミンのアンテナは演奏者に合わせて複数の極板に分割されているとします。

こうしてできた6つのコンデンサが並列に接続されることで、発振回路のコンデンサが構成されていると考えましょう。

さて、誘電率（絶縁体の特性） の絶縁体を距離離れた面積 の2枚の極板で挟んだ場合、静電容量は以下となります。

また、コンデンサを複数個並列につないだ場合、トータルの静電容量は以下となります。

以上より、今回考えるモデルにおいて、は以下となります。

演奏者が指や手のひらの位置をテルミン側の極板に近づけたり離したりすることで、静電容量が変化することが分かります。
もテルミン側の極板と指や手のひらの角度に応じて変化させればもうちょっと正確になりますが、ここでは割愛します。

テルミンから出る音

以上より、テルミンから出る音の波形は以下の数式で表されます。

上記のように仮定・導出した各数式をシミュレータでは使っていました。
先にこちらの項を読まれた方は、作ってみるまでお戻りください。

補足も含めて、本記事は以上です。

こんにちは。ブラサカチームの中井です。

スポーツ団体の事業をITで支援する取り組みにてブラインドサッカーチームでVRを駆使したフィットネスアプリを制作しました。活動・成果を報告します。

フューチャーのスポーツ団体の事業をITで支援する取り組みとは？

「スポーツの振興を目指しテクノロジーとアイデアでFuture Group発の価値を作る」という目的のもと、若手メンバーが中心となり主に以下４つの非営利有志活動をしています。

1. ブラインドサッカーVR体験
2. 晴海選手村地区開発
3. キッズ企画（アイデアソン・ハッカソン）
4. ラグビー観戦

私たちブラインドサッカーチームは、（1）のブラインドサッカーVR体験を行っています。

主な活動として…

• ブラインドサッカーを疑似体験できるアプリの開発・提供
• ブラインドサッカーの認知度を上げるためのIT施策の検討・立案
• 小学校に向けたスポ育事業

をしています。

スポーツ団体の事業をITで支援する取り組みの過去の活動を以下記事で紹介しています。興味のある方はぜひご覧ください。

• Oculus Questで作る入院中の子どもたちに向けたパラスポーツ体験 | フューチャー技術ブログ

また、昨年は小学生向けのスポーツ教育の推進も行い、品川区立日野学園にて実施したブラインドサッカーの体験授業が、文部科学省「青少年の体験活動推進企業表彰」奨励賞を受賞しました！

• フューチャーのＣＳＲ事業 フューチャー イノベーション フォーラム（ＦＩＦ） 文部科学省 「青少年の体験活動推進企業表彰」 ２年連続受賞

このように日々活動領域を広げながら活動をしています。

ストーンフリープロジェクトの発足

2020年までは上述の通り盛んに活動していました。しかし、新型コロナウィルスの影響で今まで通り活動ができない状況。コロナ渦で何かできることはないか、VRを活かして状況を少しでも変えることができないか、チーム内で議論を重ねました。

「以前よりもジムに行きづらくなった」「リモートワークにより通勤が無くなり、運動不足となっている」という意見が多数でたことから、 VR×フィットネス というテーマでアプリを制作することにしました。

題して、『ストーンフリープロジェクト』。

このプロジェクトの行く末はどうなるのか、果たしてチームメンバーの運動不足は解消されるのでしょうか…。

（※ストーンフリーは『ジョジョの奇妙な冒険』第6部に出てくるスタンド名が由来となっています。第6部の刑務所から脱獄するストーリーから、コロナの困難な状況から脱出することを祈り、命名しました）。

VR×フィットネス

ブラサカチームの渡辺です。VRフィットネスの現状と、私たちのチームの『ストーンフリープロジェクト』での取り組みを紹介します。

VRフィットネスの現状

近年一般に普及したVRシステムが有する、ヘッドマウントディスプレイ：HMD（頭部）やコントローラー・トラッカー（手）の位置・姿勢計測を利用して、リズムゲームやスポーツなど体全体を動かすタイトルが多数リリースされています。その運動量の大きさから、VRゲームはしばしばフィットネス効果が注目され、さらにVRとゲームの親和性から、遊びながら体を動かせるという有効性を生み出しています。

Oculus Questでは、各タイトル毎に消費カロリーなどが可視化されるOculus Move ¹がリリースされ、プラットフォームの開発も進んでいます。一方、主にトレーニングジムでの利用を意識して、本格的なフィットネスマシンと組み合わせたVRシステムも開発されています ²。

ICAROSでは、4つん這いでマシンに乗り、体感トレーニングをしながら鳥のように空を飛ぶ体験ができます。またVRボートトレーニングでは、ローイング（ボート漕ぎ運動）マシンを用いて、様々な環境でのボート漕ぎが体験できます。

これらのフィットネス器具を用いたシステムは、フィットネス効率向上だけでなく、ICAROSの乗り物（モーションプラットフォーム）による移動感覚提示や、ローイングマシンによるハプティック（力触覚）フィードバックといった、VR体験としての臨場感向上というメリットがあります。

しかし、大型マシンであるが故に設置面積が大きく、一般的に高価なため、家庭で楽しむハードルは高いと言わざるを得ません。また、ジムで使用されるフィットネスマシンは、特定のフィットネス用途に特化されており、これ1つで様々な種類の運動ができないという点で、汎用性の無さがデメリットであると考えられます。

VRTuber

そこで私たちのチームは、

• 遊びながら、フィットネス効果を生み出す
• 家庭でも、気軽に運動を楽しめる
• フィットネス器具により、効率的でまた汎用的な運動を可能とする
• フィットネス器具によるハプティックフィードバックなどを生かし、VRフィットネスゲームとしての体験をより楽しいものとする

…というポイントを満たすVR×フィットネスとして、 VRTuber（VR×Tube） を開発しました。

チューブを用いたトレーニング方法は多岐にわたり、かつ安価で収納も容易です。今回はVRTuberの第一弾として、ローイングをトリガーにしたシューティングゲームを開発しました。

使用した機材はOculus Quest ³、手首に装着できるリストバンド付きチューブ ⁴です。チューブを装着しながらOculus Touch（コントローラー）を持てるようにすることで、Oculus Touchの位置計測を利用して、ユーザが行うローイングを検出します。

HMDに表示する映像はUnityで作成しました。弾を打つ方向はOculus Touchのスティックで変更可能で、ローイングにより放った弾によりボクセルアニマルを倒す事ができます。ユーザのHPや、ボクセルアニマルの出現頻度・速度といったパラメータは変更可能です。

このゲームを体験した主観的感想としては、ゲームとしてはそれなりに楽しめましたが、ローイングで弾を打つことについては、コントローラーのボタン同様ある種の約束事（例：×ボタンを押すと銃を打つ）の存在は拭えませんでした。

この点からも、チューブによるハプティックフィードバックを、Virtual Worldからの自然なフィードバックとして利用できているとは言い難いです。

今回はチューブトレーニングによる動きをトリガーにして、まずゲームを作ってみようということで作成しましたが、正しいコンテンツ選択と作りこみをすることで、チューブによるハプティックフィードバックも十分に生かし、よりリアルな体験が可能と考えています。

おわりに

このようにブラサカチームでは、2020年を過ぎた現在も活動しています。

少しでも私たちの活動を面白いと思っていただけた方は、お問い合わせ かTwitterにて、ぜひご連絡ください。

お待ちしています！！

はじめまして！ Unity初心者の阿保ですଘ(੭ˊ꒳ˋ)੭

このご時世でフューチャーも完全リモートワークとなり、便利になったことや不便になったことがあります。

【便利になったこと】

• 仕事の合間にカンファレンスや勉強会に参加し放題
• 出勤に使用してた体力を自分の好きなことをやる体力として使える
• 仕事を終えた瞬間から自分の時間として使える

【不便になったこと】

• 家にいるのに気合を入れて顔を作って会議に参加するのがめんどくさい
• 顔が見えない会議の場合に感情が読み取れず、相手が怒っているように感じる
• 外に出歩けないから何かを体験するということができない

不便になったことを改善するために3Dアバターや仮想空間技術を使いこなして
もっと便利な世の中にすることを企みこの度、VRの勉強をはじめました。
まずは顔がいい分身とみんなが穏やかな気持ちになれる仮想世界を作ってみました٩(ˊᗜˋ*)و。

何を作ったか

• 自分の分身(３Dアバター)
• 分身を動かす仮想世界

実際に作った自分の分身と仮想世界がこちら↓↓

環境

• Windows 10
• VRoidStudio-v0.11.2
• Unity Hub 2.4.0
• Unity 2019.4.9f1

自分の分身を作成

まずはVRoidStudioを使って自分のオリジナル3Dアバターを作成します。

VRoidStudioは無料で提供されている3Dモデル作成アプリです。

基本となるモデルがあり、

• 顔
• 髪型
• 体型
• 洋服

が編集でき自分のオリジナルのアバターが作成できます。

VRoidStudioの環境構築や3Dアバターの作成はこちら↓を参考にしました。
https://degifeel.com/vroid-studio-how-to/

作った分身はこちらです↓

仮想世界の作成

ここからはUnityで神になる本を参考に仮想世界を作っていきます。

• UnityHubから新規3Dプロジェクトを作成
• 右上のLayoutドロップダウンから2by3を選択
• まずは大地を作成
  • Game>3D Object > Terrainの順番に選択
  • HierarchyPositionタブに表示されている「Terrain」をクリック
  • Inspectorタブに表示されている「Position」をX:-500 Y:0 Z:-500に変更し大地が世界の中心にくるようにする
  • Ctl + 9でAsset Storeを表示
  • 「Standard Assets」をインポート
    • Allボタンで全てにチェックをつけてImportボタンを押下
  • HierarchyPositionタブに表示されているTerrainを押下
  • Inspectorタブに表示されているTerrainの筆のアイコンを押下
  • Edit Terrain Layers…>Create Layerの順に選択
  • 検索窓に先ほどImportしたStandard Assetsの地面素材である「GrassRockyAlbedo」を入力し画像を押下する
  • Textureの枠に画像が設定されていることを確認してダブルクリックすると地面が「GrassRockyAlbedo」に染まる
  • Inspectorタブに表示されているTerrainの木のアイコンを押下
  • 「Edit Trees…」>「Add Tree」を選択
  • Tree Prefabに「Broadleaf_Desktop」という樹木を選択
  • クリックを長押しすることで地面に木を生やすことができる
  • Inspectorタブに表示されているTerrainの草花のアイコンを押下
  • 「Edit Details…」>「Add Grass Texture」を選択
  • Detail Textureに「Grass」と入力しでてきた好きな草を選択しAddボタンを押下
  • 木と同じくクリック長押しで草を生やせる
  • 上記要領で3Dワールドを作りこんでいく

3Dワールドに自分の分身を誕生させる

• VRoidStudioで作った分身をUnityで動かせるようにするためのパッケージを導入します。
  • UniVRMをgithubから最新バージョンを選んでUniVRM-X.XX.X_XXXX.unitypackageをDownload
  • DownloadしたパッケージをUnityのProjectウィンドウにDragu&Dropする
  • Import Unity Packageのダイアログが開くので下の「ALL」>「Import」の順に押下しPackageをImportする
• 自分の分身をUnityへImport
  • VRoidStudioで作成した自分のvrmファイルをUnityのProjectウィンドウのAssetに配下にDragu&Drop
• 分身を操作できるようにセットアップ
  • ここからは分身の操作が見えやすいようにUnity右上のLayoutを「Default」へ変更
  • SceneにAsset配下の自分の分身(Prefab Asset)ファイルをDrag&Dropで投下
  • 自分の分身ファイルを選択した際に表示される右側のInspectorタブのAnimatorのControllerに「ThirdPersonAnimatorController」をセットする
  • 「Capsule Collider」の値を変化させて分身の大きさを調整する
    • CenterをX:0 Y:0.8 Z:0に設定
    • Heightを1.81に設定
  • 「Third Person Character」の「Ground Check Distance」値を0.3に変化する
    • 歩く速さなど動作が変化するので自分の好みの値に調整してください

分身を動かしてみる

• 動かした際に分身をカメラが追ってくれるように設定
  • 「Hierarchy」>「Main Camera」を分身フォルダ配下へDrag&Drop
  • 分身フォルダ配下に移動していることを確認
  • Main Cameraの「Inspector」のMain Cameraのチェックを外す
  • Projectの検索窓に「MultipurposeCameraRig」と入力
  • 表示された「MultipurposeCameraRig」を「Hierarchy」へDrag&Dropする
  • 「MultipurposeCameraRig」を選択し、右のInspectorに「MultipurposeCameraRig」を表示させる
  • 「Auto Cam(Script)」のTargetに分身フォルダをDrag&Dropする
  • 上部のPlayボタン(▷)を押下して分身を動かす
    • w:前進 S:後進 A：右移動 D：左移動 Space：ジャンプ

自分の分身(3Dアバター)を自作ワールド
で動かした動画をYouTubeに上げましたଘ(੭ˊ꒳​ˋ)੭
木と草と空しかないですが汗https://t.co/3ipaXtujef @YouTubeより #Unity #unity3d #VRoid

— DevAbo (@DevAbo1) January 5, 2021

ちょっと空もいじってみました。

驚きのジャンプ力ですがいい感じに動いてます(๑òωó๑)

本日はここまでですが、動物や家など配置させて仮想空間を作りこんだり、他の人をこのワールドに召喚し、VoiceChat機能を追加することで家から出ずに顔も作らず、心穏やかにコミュニケーションがとれそうです。

こんにちは、フューチャーアーキテクト入社3年目の西村です。

いよいよ2020年に開催される東京オリンピック・パラリンピックまで1年を切りましたね。
フューチャーでは2018年から スポーツ団体の事業をITで支援するプロジェクト に取り組んでいます。

同社グループではプロスポーツにおけるITコンサルティングで複数の実績があり、強みとしているテクノロジー分野での技術力や経験を生かして、スポーツの魅力をより広く伝え、競技のファンを増やすための活動を行っていく。

一例としてブラインドサッカーの支援などを行っています。

競技をVR（バーチャル・リアリティー）体験できるイベントを行いました。ブラインドサッカーの選手は視覚が無いため、ボールの転がる音や、味方からの指示、相手選手の声を頼りにプレーしています。こうしたブラインドサッカーの世界を一般人でも気軽に理解できるよう、音を頼りにプレーするシミュレーション形式の体験アプリを開発しました」

このプロジェクトの中で私が関わっている取り組みとして、Oculus Questを使った入院中の子どもたちに向けてパラスポーツのアプリ を作ってるので、今回ご紹介します。

入院中の子どもたちに、スポーツの楽しさを伝えたい

上記の記事にある通り、元パラアイスホッケー日本代表の上原大祐さんと一緒に、入院中の子どもたちに向けたパラスポーツ体験プロジェクトを進めています。

何かしらの事情で歩けなくなった子供たちや、入院中の子供たちに、ITを使ってパラスポーツを体験してもらうことができないかと考えています。スポーツの楽しさを感じてもらい、実際にパラスポーツを志してもらうことだったり、それをモチベーションにリハビリを頑張ってもらったり。

スポーツを通して、何かしらの事情で歩けなくなった子どもたちや入院中の子どもたちを応援したい、という思いで上原さんは活動されています。
そして、我々もその思いに共感し、今回一緒にプロジェクトを推進することになりました。

入院している子どもたちの状況は様々で、入院中の多くの時間をベッドの上で過ごしています。
スポーツを通して応援しようとしても、実際に全身を使った運動をするのは難しい子どもたちばかりです。

そのため、ITで『ベッドの上できるスポーツ』を提供し、ITを使ってスポーツの楽しさを子どもたちに体験してもらいたいと考えています。

『ベッドの上でできるスポーツ』をITで

そのため、ITで『ベッドの上でできるスポーツ』を提供し、ITを使ってスポーツの楽しさを子どもたちに体験してもらいたいと考えています。

具体的に、どんな『ベッドの上でできるスポーツ』をITで提供しようとしているかというと、上原さんが昔選手としてご活躍されていたパラアイスホッケーを体験するVRアプリを作ろうとしています。

パラアイスホッケー（別名アイススレッジホッケー）は、下半身に障害を持つ人がアイスホッケーを行えるよう改良された障がい者スポーツで、スレッジと呼ばれるソリに乗り、両手にスティックを持って氷の上で競技します。

このアイススレッジホッケーを『ベッドの上でできるスポーツ』にするためにはどうしたら良いか考えました。

ちょうどデバイス検討中にOculus Questが発売される情報があり、またOculus Questは
・スタンドアローンでベッド上でもお手軽に利用可能
・両手コントローラーで、スティックを再現するのに最適
だったため、Oculus Questをデバイスとして採用しました。

アイススレッジホッケー体験VR開発プロジェクト始動！

アイススレッジホッケーについて、まさに選手として活躍されていた上原さんから実体験を聞きたい！ ということで、
7月にVRアプリの試作品を持って、上原さんとミーティングしました。

実際に体験してもらった感想をもらったり

改めてITを使ってスポーツの楽しさを伝えたい、というお互いの熱い思いを共有しました！

まだまだ試作段階ですが、実際に何作ったか、どんなコード書いたかは、次回実装編にてご紹介します！

さいごに

スポーツの楽しさを感じてもらい、実際にパラスポーツを志してもらうことだったり、それをモチベーションにリハビリを頑張ってもらったり。
ITの力で今まで体験できなかったことがベッドの上でもできるようになると、きっと子どもたちの未来に新たな可能性が広がっていくことに繋がると信じています。

今後は、プロトタイプを持って特別支援学校や病院を巡り、子どもたちに実際に体験をしてもらい、フィードバックをもらう予定です。

VRアプリが完成したら、またご紹介させていただきたいと思います。

• 治療のモチベーションが無いので、目標が欲しい
• 歩いたことが無いので、歩く体験をしてみたい
• ベッドから動けなくても、上原さんの行っている活動に参加してみたい

といった子どもたちの思いを叶えるべく、VRを有効活用できるアイデアを大大大募集しています！

こんな活動に関心があったら、お問い合わせ かTwitterに連絡ください。

最後まで読んでいただき、ありがとうございました。

フューチャー主催でアイデアソンを開催し、運営としてとても勉強になりました。
この場をお借りして、当日の様子をお伝えします。

概要

Ahmet Misirligul/shutterstock.com

2019年3月21日に大崎Think Park Tower 9Fにて、『スマートグラスを使った革新的なビジネスを考えるアイデアソン』と題してアイデアソンを開催しました。

スマートグラスで未来の生活を実現する革新的なビジネスのアイデアを考えたい、そんな熱い気持ちを持った17名の方々にお集まりいただきました。また、スマートグラスを提供している各社が集い、最新のスマートグラスの体験会も開催しました。

お忙しい中アイデアソンにご参加いただいた皆さま、体験会にご協力いただいた各企業様、本当にありがとうございました!

実施内容

下記スケジュールで実施しました。

スマートグラス体験会

アイデアソンを始める前に、各社が販売している最新のスマートグラスの体験会を実施しました。体験会では、協賛企業5社の製品と弊社が所持しているHololensを体験していただきました。

簡単に紹介します。(各製品名をクリックするとHPに飛べます)

JMACS株式会社様

• HMT-1Z1
  • 現場作業向け防爆スマートグラス
  • 可燃性ガスが発生する場所や粉塵が存在する場所など、爆発の危険性がある場所で使用可能な国内初のスマートグラス

santec株式会社様

• M300
• AceReal(防塵防滴)
  • 現場作業向けスマートグラス
  • スマートグラスで現場映像を本部に送り、本部からの指示画像を目の前のモニタに投影
  • 音声指示を取得することで、より適切な現場対応を実施

レノボジャパン株式会社様

• Mirage Solo
  • 世界初のスタンドアローン型でかつDaydream対応、WorldSense搭載のVRヘッドセット
  • 体験会では、避難訓練を疑似体験

セイコーエプソン株式会社様

• MOVERIO BT-300
  • 紙に書いてある絵が立体的に浮かび上がるARグラス
  • 絵に塗った色を投影
• MOVERIO BT-300
  • いつでもどこでもパーソナルシアターが楽しめるARグラス
  • リモコン内蔵のAndroid端末の映像を、目の前に大きく投影

QDレーザ株式会社様

• RETISSA Display
  • 眼球に直接レーザーを照射するARグラス
  • 視力が低い人でも映像が鮮明に見える医療向け機器

フューチャー所持機器

• HoloLens
  • Microsoft製のARグラス
  • アイデアソンではFuture社員(澤田)が開発したアプリ『Potato Head』(人の顔をじゃがいもに変換するアプリ)を体験

チーム分け・発表準備

チーム分けと発表準備は、以下の流れで実施しました。

1. 1人1アイデア宿題として事前に準備した内容を個人発表
2. 各発表を聞いて良いと思ったアイデアに投票
3. 投票の結果、上位チームの中で「もっと深堀したい!」と思ったアイデアを選び、アイデアごとにチームを組む
   • 上位に入れなかったアイデアでも、「どうしても自分のアイデアで戦いたい!」と思う人は『情熱枠』として自分のアイデアで参加も可能
4. 制限時間内にアイデアの深堀とプレゼン用スライドを作成し、発表会を実施

各チーム時間をフルに使って、アイデアのプラッシュアップと発表資料の作成に取り組んでいました。

アイデア発表

各チーム5分の持ち時間で、以下の順番で発表会を実施しました。

各チームとてもユニークで革新的なアイデアの発表でした。

結果発表・表彰式

各チームの発表が終わり、参加者・参加企業・運営メンバーによる投票で順位を決めました。
見事、最優秀賞を獲得したアイデアは…

キモチ開発の『キモチみえるめがね』!!!

おめでとうございます!

発表内容は、子育て支援をするためのARグラス。
アイデアの背景として、核家族化する日本社会で、育児の大変さも増している現状があります。

ARグラスをかけた親は、まだ話すことのできない子供の感情を読み取り、子供とのコミュニケーションをより密に図ることができるというアイデアでした。

さらに、こどもが大きくなってからはARグラスを装着することで、片付けのガイダンス(片付け場所の指示)が表示され、教育にも活用できるというアイデアも盛り込まれていました。

人は生後間6ヶ月ほどの間は顔認識を頼りにしていること、両手で片付けをすべきであることから、「スマートグラスでなければならない」ことを強く伝えていた点も印象的でした。

キモチ開発チームの2名は、チーム分けをした時点ではそれぞれ情熱枠で1人チームでしたが、ブラッシュアップ中にそれぞれのアイデアを活かして1チームになったとのことです。

それぞれのアイデアを活かしつつ協力して勝ち取った最優秀賞でした。

キモチ開発のお二人には、2019年05月21日発売予定の『Oculus Quest』が贈呈されます。

まとめ

今回のアイデアソンのタイトルの通り、革新的なビジネスのアイデアがたくさん出たアイデアソンでした。アイデア次第で、ジャンルに囚われることなく様々な場面に活用できるのが、スマートグラスの強みであり面白いところだと感じました。

私は運営としての参加でしたが、次回はアイデアを考える側として参加してみたいと思いました!

こんにちは、フューチャーアーキテクト入社2年目の姜です。

2017年8月2日（水）に、有志で集まった社内オリンピック事業企画チーム「Future Tokyo2020」のメンバーを中心に、中学生・高校生向けの「スポーツアイデアソン」を開催しました。

「スポーツアイデアソン」とは？

「スポーツアイデアソン」とは、東京オリンピック・パラリンピック大会など、数年後東京で行われる大規模なスポーツイベントを、VRやMRなどの最新技術を使って課題解決するアイデアを生み出すイベントです。
スポーツアイデアソンの報告はこちら

当日来てくれた中高生には、より良いアイデアを生み出してもらうために、**MRなど最新の”XRテクノロジー”**を実際に体験してもらいました。

また、教育向けビジュアルプログラミング言語「Blockly」でVRプログラミングにも挑戦してもらいました（なんてチャレンジング！）。

最新テクノロジーに見て、触って、そこから生まれたアイデアはどれも魅力的なアイデアばかりでした。
ここでは私が企画を担当し、技術的にもチャレンジングな内容だった「VRプログラミング体験」の様子を、ご紹介致します。

会場

イベントは先日オープンしたばかりの、フューチャーアーキテクトの新オフィスで開催致しました！

イベント開始

ついにイベントがスタート！
会場を見てみると集まってくれた中高生はざっと20人程度。
IT経験者は5名ほど、後は全員IT初心者。男女比もちょうどよいバランスで集まってくれました。

イベントのタイムテーブルです。

1日にしては濃厚なスケジュール。みんなついてこれるでしょうか？

さっそくVRプログラミング体験スタート！

簡単なアイスブレークとXRテクノロジーの紹介をし、さっそくVRプログラミング体験です。今回、体験の教材として採用したのは CoSpaces というアプリケーションです。

Cosapces公式ページはこちらから

CoSpacesとは、ドイツのミュンヘンとロシアのサンクトペテルブルグを拠点とするスタートアップ、Delightex社が開発したアプリケーションで、開発者がプログラミングやデザインのスキルを持っていなくてもVR環境を構築出来るアプリケーションです。

動物やテキストボックスをステージ上にアレンジ出来たり、新しいオブジェクトをよりシンプルにカスタマイズ、統合出来る環境を提供しています。
なにより、CoSpacesはプログラミングを直接書かなくても、命令文やコマンド名のパズルを組み合わせる Blockly という開発言語で、プログラムを作ることができます。

作成したプログラムはVRアプリケーションとして、iPadなどで実行できます。
プログラミングが初体験の中高生でも、パズルで遊ぶような感覚でVRプログラミングができるスグレモノです。

今回は中高生にCoSpacesを使って スゴい迷路 を作ってもらいながら、合間にHoloLensでMR体験をしてもらいました。

知らない方の為に補足:
HoloLensとは、Microsoftが提供するワイヤレスで頭につけるタイプのホログラフィックコンピューティングです。自分がその場にいながらバーチャルな空間と融合した世界が体験できます。

次々とHoloLensを体験した子どもたちが順番を待っている子たちに興奮しながら感想を言ったり、積極的に社員に質問しながらCoSpacesで迷路を構築したりして、会場は一気に盛り上がりました！

スゴい迷路の発表!

最終的に出来上がった中高生たちの「スゴい迷路」がこちらです。

私の感想は「ちゃんと迷路に個性が出ている・・・！！」という驚きです。
最初のデフォルトの迷路に比べて、短時間でこれだけ様子が変わったことに中高生の底力を感じました。
ほとんどの中高生がプログラミング自体が初めてだったのにも関わらず、しっかりとオリジナリティのある迷路を作り上げていたのです。

最後に、中高生のみんなでどれが一番「スゴい」か投票した結果、選ばれた迷路がこちら！

なにが「スゴい」かというと、迷路の壁を半透明にして、迷路をする人が戸惑うような仕掛けを加えたところです。ちなみに壁を透明にできることは、講義では教えていません。 中高生が自分たちで実際にCoSpacesを触って、試して、見つけて、生み出した工夫です。短時間でプログラミングの概念が身につくCoSpacesと、中高生たちの発想の柔軟さがぶつかって「スゴい迷路」が誕生しました。

私はこういうIT技術と人のアイデアが具体的な形になる瞬間が大好きです。

その後のアイデアソンでも、中高生たちの柔軟な発想力が光るアイデアが沢山生まれ、無事イベントは終了しました!

さいごに

私自身、CoSpacesを触ったのが今回が初めてというハラハラドキドキ状態でしたが、なんとか中高生のフォローができてほっとしました。

中高生と接して感じたのは、 新しい技術に好奇心と興味をもって取り組めば、IT経験の有無は関係なくモノを作り出すことはできる ということです。
そして 何より「楽しむ」こと！ これがモノを作る上で一番の原動力であること を中高生に教わりました。

今後もFuture Tokyo2020は、スポーツを舞台にして子供とテクノロジーを繋ぐイベント・企画をどんどん進めていきます！ またみなさんにレポートできる機会があると思いますので、乞うご期待下さい！

最後まで読んでいただいた方、本当にありがとうございました。

HoloLensに関する過去記事はこちらをどうぞ。

• 会社に届いたHoloLensを使ってみた
• HoloLensの空間共有サービスを使ってみよう

はじめに

はじめまして。名古屋大学の澤田周吾です。就職活動中にフューチャーアーキテクト株式会社さんと出会い、 インターンとしてHoloLens アプリの開発を担当させていただきました。

キッカケはある懇親会の時。私がいきなり「来週からホロレンズ開発のインターンさせてください！」という要望をぶつけたのですが、あっさり「いいよ」と一言。インターンの日程もサクサク決まりHoloLensアプリの開発が始まりました。無茶振りにも華麗に応えてくれるフューチャーさん、好きです。

何を作ったか

人の前で発表する時って、やっぱり緊張しますよね。

真面目な人の顔って、圧迫感がありますから。

このような人達の前で発表するのは相当緊張すると思います。
しかし、この人達が全てジャガイモだったらどうでしょうか。

つまり 人の顔をジャガイモに置き換える アプリ、名づけて Potato Heads です。

実現に向けての技術的な見通しは..。

1. HoloLensのカメラから、顔認証技術を使って顔の部分の位置座標を検出
2. そこに画像の大きさを合わせて出力する
   という2段構えで実現できると考えました。

実際に作った Potato Heads の動画はこちら↓↓↓

私が作ったHoloLensアプリの Potato Heads !
人の顔をジャガイモにします！ pic.twitter.com/nu5SOPSrME

— sSgo (@ssogoss) 2017年4月13日

使用したもの

• HoloLens
• Unity 5.5
• C#
• HoloToolkit-Unity
• OpenCV For Unity
• HoloLensWithOpenCVForUnityExample.unitypackage
• PCスペック
  • Windows10 Home ¹
  • メモリ4GB ²

開発環境構築

UnityとVisual Studioのインストールについてはこちらを参考にさせていただきました。
HoloLens UnityとVisual Studioのインストール | ナレコムazureレシピ

Unityのプロジェクトを作成

1. Unityを起動
2. 右上のNEWボタンを押します
3. Project Name 記入、任意の保存先選択、3Dを選択
4. Create projectボタンを押します

これで新しいプロジェクトが作成されます。

Unityのレイアウトについては右上のLayoutドロップダウンから2by3を選択すると以下のように配置されます。

HoloToolkit-Unityのダウンロード

アプリ開発を効率よくしてくれる HoloToolkit は、Unity用に HoloToolkit-Unity が存在するので、Unityで開発する場合はそちらを利用します。
GitHub:HoloToolkit-Unity
↑ここからZIPファイルをダウンロードして、任意の場所に展開しておきます。

初期設定

1. 先ほどダウンロードして展開しておいたHoloToolkit-Unityフォルダを開き、
   任意の場所\HoloToolkit-Unity-master\Assets 内の HoloToolkitフォルダ と
   HoloToolkit.meta をProjectビューのAssetsにドラッグ&ドロップします。
   インポートが始まるのでしばし待ちます。
   ここまでうまくいっていればメインメニューに「 HoloToolkit 」が追加されているはずです。
   ここからHoloLensアプリに必要な初期設定を簡単に行うことができます。
2. まずはプロジェクトの初期設定
   1. メインメニューのHoloToolkit > Configure > ApplyHoloLensProjextSettings をクリック
   2. 以下のようなポップアウトが開くので全てにチェックを入れてApplyボタンを押します。
   3. Reload now? と聞かれるのでYesをクリックします。
   4. いったんUnityが閉じ、開き直されます。
      これでプロジェクトの初期設定は完了です。
3. 次にメインカメラの初期設定をします。
   1. メインメニューのHoloToolkit > Configure > ApplyHoloLensSceneSettings をクリック

2.先ほどと同じようにポップアウトが開くので全てにチェックを入れてApplyボタンを押します。

HoloLensでは黒は透過を意味するので、背景は黒に設定する必要があり、そのような設定がここで行われています。

ここまでで、初期設定は終了です。
アプリを作る際、ここまでの作業は毎回行うことになると思います。

余談

HoloLensにおいて 現実世界のモノを消す技術（＝DR: DIMINISHED REALITY）は難しいです。
カメラ映像の世界では何年も前からDRが実現できている ³ので不思議に思った方も多いと思います。

HoloLensは現実世界の物は透過して、プラスしたいモノをレンズに光をプラスすることによって、上乗せて表示させるような原理になっています。そのため、何か消したいとしても光の上乗せしかできず、それゆえどうしてもリアリティの差が出てしまいます。現実世界の物とプラスした光の物の区別ができないレベルまでリアリティをもたすことができれば可能になると思いますが、まだまだ技術の進歩を待つ必要がありそうです。

アプリ開発

ここからHoloLensアプリケーション開発の流れを説明します。

簡単なオブジェクトの作成

簡単な物なら、Hierarchyビュー右クリック > 3D Object > Cube から立方体を作成します。
Inspectorビューの設定を以下のようにすると視認性が高く表示できます。

• Position : 0, 0, 1
• Rotation : 45, 45, 45
• Scale : 0.1, 0.1, 0.1

作業を残したい場合は メインメニュー File > Save Scenes から作成したSceneに任意の名前を入力して保存できます。

Potato Headsのつくり方

Potato Headsの設定をここから記載します。
とりあえず簡単なものを動かしてみたい方は、上記の簡単なオブジェクトを作成したら、この小段落は飛ばしてビルドに移ってください。

1. 導入するアセットを下記からダウンロード
   • 顔認証を使うために OpenCV を導入します。また、OpenCV を HoloLens で動くようにするためのアセットが HoloLensWithOpenCVForUnityExample.unitypackage です
     • OpenCV For Unity　(私は2.1.5を購入)
     • HoloLensWithOpenCVForUnityExample.unitypackage
2. 先ほどHoloToolkit-Unityをインポートした時と同様に、インポート
   1. OpenCVforUnity/Assets 内の OpenCVForUnity, OpenCVForUnity.meta をプロジェックトの Assets にドラッグ&ドロップ
   2. HoloLensWithOpenCVForUnityExample/Assets 内のすべて4ファイルをプロジェクトのAssets にドラッグ&ドロップ
   3. Assets/OpenCVForUnity/StreamingAssets を Assets 直下に出します
   4. Assets/OpenCVForUnity/OpenCVForUnityUWP_Beta3 圧縮ファイルを展開
   5. Assets/OpenCVForUnity/OpenCVForUnityUWP_Beta3/OpenCVForUnityUWP_Beta3 を実行
   6. OpenCV を HoloLens で使用するために必要なファイルがインポートされるので、Allを選択し、Importボタンをクリック

ここまでできていれば以下の画像のようなAssets構造になっているはずです。

この状態で HoloLensWithOpenCVForUnityExample/Scenes内のサンプルはHoloLens上でも動きます。

ここで私は Scene/HoloLensAnonymousFaceExample を使用します。
人の顔を検知して画像をかぶせるサンプルです。

好きな画像にしたい場合は、以下の1～2手順で変更できます。

1. Assets/HoloLensAnonymousFaceExample/Resources に画像を保存
2. Assets/HoloLensAnonymousFaceExample/Scripts/Overlay/AnonymousRectQuad のInspectorビューの一番下の AnonymousRectQuadMaterial の左下の下三角を押すと詳細がでるので、そこで画像のSelectから好きな画像を選択（下画像を参照）

ビルド

1. メインメニュー > Build Settings をクリック
2. 以下の設定の確認します
   • SDK : Universal 10
   • UWP Build Type : D3D
3. Unity C# Projects にチェックをつけます
4. Add Open Scenesボタンから先ほどビルドしたいSceneを追加します
5. Build ボタンをクリック
6. ビルド先が聞かれるので、開かれるフォルダの中にAppフォルダを作って、そこをビルド先にするといいです
7. ビルドが完了したら、フォルダが自動で開かれるので、先ほどのビルド先フォルダ内の [プロジェクト名].sln をVisual Studioで開きます
8. Visual Studioで開いたら、上にあるドロップダウンを Release, x86, Device に設定します
9. HoloLensをPCに接続し、電源をつけておきます
10. メインメニュー デバッグ > デバッグなしで開始 をクリック

1～10の作業をすれば、HoloLens用にアプリがビルド・デプロイされます。
うまく完了すれば、HoloLensに転送したアプリが自動で起動して、開発したアプリを見ることができるはずです。

以上で、一連のHoloLensアプリの開発は完了です。

デバッグについて

私はWindows10 Home で開発していて、Emulatorが使えない環境だったので、HoloLensで起動しているアプリのログをとることができませんでした。
そのため「3D Text」をつくり、それを変更することでログとしての役割を持たせデバッグしていました。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

namespace DlibFaceLandmarkDetectorExample {
    public class TextChange : MonoBehaviour {
        string text = "";

        // Use this for initialization
        void Start() {
        }

        // Update is called once per frame
        void Update() {
        }

        public void Change(string newtext)
        {
            text = text + newtext;
            GetComponent<TextMesh>().text = text;
        }
    }
}

上のメソッドを用意しておいて、デバッグしたいコードの中でこのメソッドに飛ばすという形です。
クラスの中でパスを定義↓しまして..。

TextChange textChange;
GameObject refObj;
refObj = GameObject.Find("3DText名");

メソッドに飛ばします↓

textChange = refObj.GetComponent<TextChange>();
textChange.Change("test\n");

この手法を用いてデバッグを行いました。

インターン成果発表会

インターン当初はもっと高度なことをやろうと計画立てていましたが、開発期間4日間という短い期間だったため、途中で方向転換し、期間内で物をつくりあげることを大切にしました。

最後の発表会はHoloLensをつけて、オーディエンスをイモにしてリラックスしながら進めました。笑

発表会の後には体験もしてもらい、なぜかイモになる側が盛り上がりました。

HoloLensごしから撮影すると上記のような感じです。
無理やり撮影しているので色がおかしいですが、人間が見るとキレイにジャガイモに見えます。
ちなみに、距離が離れたメガネの人は顔認識が行いにくいようです。

まとめ

Unity上では動くけれどHoloLensに転送するとうまく動かないといったものもあり、大変なところもありました。
具体的には、入力画像をマトリックスで処理していく際、その処理のメソッドに飛ばすところで止まってしまうことがありました。

HoloLensのアプリを開発するにあたって、使用する技術の分野は未経験でしたがアプリとして形にできました。
フューチャーさんの技術的アドバイスがあったからこそだと感じています。

Potato Heads はストア申請をしていて、近日中にWindowsストアに公開されると思います！
→公開されました！ (2017/04/14時点)
　Potato Heads - Microsoft Store

こんにちは。HoloLens記事第二弾です。

• 前回の記事はこちらをご参照ください。

今回は、HoloLensでこれから多く使われるであろう空間共有サービス（以下シェアリングサービス）の特性と実装方法の触りについて紹介します。

HoloLensの空間共有サービスとは

HoloLensの醍醐味は、現実世界と仮想世界が融合することです。つまりHoloLensゴーグルをかけると、スマホを通さずとも視野の中に様々な情報や仮想的なオブジェクトを出現させることができます。

ARとして流行ったポケモンGOを例にすると、スマホの画面上で現実の背景の上にポケモンの画像が合成されて表示されていましたよね？ HoloLensを身につけると、散歩中にふと公園を見ると「ピカチュウが花壇から出てきた！」という風景を自然に見ることができます。また、HoloLensは現実世界のオブジェクトをスキャンしてマッピングを行っているので、「ピカチュウが滑り台を滑る」といったことが比較的容易に実現できちゃいます。

でも悲しいかな、HoloLensをそのまま装着しても、みんな別々、パラレルワールドのマサラタウンにいるのです。ある人はそこにピカチュウがいるというけれど、私には見えない、そんな状態です。それでは盛り上がりもかけますし、結局は自分にしか見えない仮想的なものなんだという儚い気持ちになってしまいますよね。

そこで登場HoloLensの**シェアリングサービスです。これを使うと、あるHoloLensで見ているものが、他のHoloLensでも同様に見ることができ、空間の共有が行えます。**「ベンチの上でピカチュウがバク転した！ かわゆす」というのを皆で一緒に見ることが可能となります。

閑話（仮想現実と現実に対する哲学的考察をちょっと）

みんながそこにピカチュウがいると言う。これはもはやピカチュウが現実となったと言えるのではないでしょうか。

「この世は人間に記録（観測）されるまでは存在しない」とどこかの偉い方が言いましたが、逆に認識されればそれは現実の世界になるのです。HoloLensを通さないと見えないから現実の世界なわけないじゃんというあなた、あなたは視覚を司る「目」という器官を通して世界を認識しています。この世界も目が無いと、見えなくなるから現実な世界なわけないと言っているのと同じかなと思います。

昆虫は紫外線を見ることができるため、人間とは全く別の世界が広がっていますが、HoleLensが映し出す世界も似たようなものではないでしょうか。また、実際触れるじゃないかと思ったあなた、触れるという現象も触覚も持って感知しているにすぎず、本当の意味でそこに物体があるかどうかなんてだれにもわからないのではないかなと思います。

シェアリングサービスの仕組み

哲学の話は置いて、本題に戻りましょう。
シェアリングを行うためには、お互いの空間情報を中継するためのサーバー（PC）が必要です。

アプリケーションの構成によりますが、本記事ではMicrosoftがHoloLensの開発ノウハウを公開しているHolographicAcademyにてシェアリングサービスを紹介しているHolograms240の仕組みを説明します。

まず試したいという方は、Holograms240の公式サイトに実行方法が記載されています。
もしくは日本語で実施方法を記載してくださっている方がいるのでここを見ると良いと思います。

Holograms240では**HoloToolKit-UnityというUnity上でHoloLensの機能を使用するためのツール群を利用しています。このHoloToolKit-Unityにはシェアリングサービスが含まれています。開発者はこれを使用して、複数HoloLens間でのシェアリングを行うことができます。またHoloToolKit-Unityの中には、サーバーで起動するためのシェアリングサービスの実行ファイルが準備されている**ので、シェアリングを行うためにはこれをPC上で実行して利用できます。

Holograms240は以下のような仕組みで動いています（下図）。
まずはアプリ起動時にアンカー情報と呼ばれる、現実世界のマッピングとUnity上での座標を紐づけるための目印を共有します。

次に、アプリ内で共有が必要なデータを逐次送受信して、同じオブジェクトの同期を行っています。

実空間とのマッピングがされているのはアンカーだけです。

実空間をスキャンした情報とアンカーとのマッピング情報はデータ量が多いです。同期するのに長いと1分以上の時間がかかります！ その後の共有情報はデータ量は少ないですが、各オブジェクトやアクションごとにデータの型や、送信処理、受信時の動作を実装してあげなくてはいけません。さすがに楽々と視野すべてを一括で同期して、というのはできないのですね…。今後もっと便利なライブラリができることを期待します。

HoloToolKit-Unityの仕組みを少しだけ紹介

次にHoloToolKit-Unity内で何が行われているのか、かいつまんで紹介します。

ImportExportAnchorManager

Holograms240ではこれを、HologramCollection（HoloLensで扱うオブジェクトの大親）につけてますね。このスクリプトは1機目ではアンカー（Unity上のオブジェクト）を物理的に固定（現実世界にマッピング）して、そのアンカー情報を共有サーバーにエクスポートしています。また2機目以降は、1機目のアンカー情報をインポートして、自身の現実世界のマッピング情報上にアンカーを設置します。これによってUnityの世界では1機目と2機目の座標軸がアンカーを中心として一致します。

CustomMessages

デバイス間で共有するデータの形式の定義と、送受信時の処理が記載されていますこれはアプリの仕様ごとに、がっつり個別実装する必要があります。
以下の流れで見ていきます。

1. 送受信用のデータ形式
2. 送信処理について
3. 受信処理について

1. 送受信用のデータ形式

TestMessageIDはデバイス間で共有（送受信）するデータを定義しています。
オブジェクトやアクションの種類ごとに定義しています。

public enum TestMessageID : byte
{
    HeadTransform = MessageID.UserMessageIDStart,
    UserAvatar,
    UserHit,
    ShootProjectile,
    StageTransform,
    ResetStage,
    ExplodeTarget,
    Max
}

2. 送信処理について

Sendメソッドは送信処理を実装しています。
例えばSendShootProjectleはユーザーがゲーム内で発射するオブジェクトの送信処理です。
起点となるpositionと打ち出される方向directionをアンカーからの相対位置に変換して送信しています。

public void SendShootProjectile(Vector3 position, Vector3 direction)
{
    // If we are connected to a session, broadcast our head info
    if (this.serverConnection != null && this.serverConnection.IsConnected())
    {
        // Create an outgoing network message to contain all the info we want to send
        NetworkOutMessage msg = CreateMessage((byte)TestMessageID.ShootProjectile);

        AppendVector3(msg, position + (direction * 0.016f));
        AppendVector3(msg, direction);

        // Send the message as a broadcast, which will cause the server to forward it to all other users in the session.
        this.serverConnection.Broadcast(
            msg,
            MessagePriority.Immediate,
            MessageReliability.Reliable,
            MessageChannel.Avatar);
    }
}

3. 受信処理について

受信時の処理はMessageHandlersを使って登録しています。
例えば上記で送信している発射物の受信時の処理はProjectileLauncher.csに記載されています。下記のコードで受信時イベントを登録しています。

CustomMessages.Instance.MessageHandlers[CustomMessages.TestMessageID.ShootProjectile] = this.ProcessRemoteProjectile;

そして、実際の受信処理は下記のProcessRemoteProjectileです。受信した発射物のアンカーからの位置情報（Position）と方向（Direction）から同じ位置にオブジェクトを生成しています。

void ProcessRemoteProjectile(NetworkInMessage msg)
{
    // Parse the message
    long userID = msg.ReadInt64();
    Vector3 remoteProjectilePosition = CustomMessages.Instance.ReadVector3(msg);

    Vector3 remoteProjectileDirection = CustomMessages.Instance.ReadVector3(msg);

    Transform anchor = ImportExportAnchorManager.Instance.gameObject.transform;
    ShootProjectile(anchor.TransformPoint(remoteProjectilePosition), anchor.TransformDirection(remoteProjectileDirection), userID);
}

このように、現実世界上の位置情報として同期されるのはアンカーだけで、その他のオブジェクトを同期したい場合は、個別に定義して処理を記載する必要があります。

まとめ

• シェアリングサービスはHoloToolKit-Unityを使うことで実装できる
• 実空間に固定されているのはアンカーだけであり、アンカーの同期には時間がかかる
• その他のアプリ内情報は個別に連携データの形式と送受信処理を実装する必要がある

おまけ～最新（2017/04/03時点）特ダネ情報～

• 英語弱者（筆者も）待望！Holographic Academyを日本語訳してくださっている神サイト
• SharingサービスのサーバーIPをアプリ起動時に設定できるようにするプラグイン
• Hololens meetup vol2で発表されたHoloToolKitよりイケている共有サービス

HoloLensとはざっくり言いますと、

このイラストのようなことができる機械になります。

もう少し詳しく説明しますと…

• 現実の空間にCGなどで作られたグラフィックを投影できる、**MR(複合現実: 拡張現実「AR」と仮想現実「VR」を融合させたような概念)**を実現するためのMicrosoft製のデバイスです
• 見た目はOculusのようなゴーグル型ですが、VRとは異なり現実世界にグラフィックを重ね合わせる必要があることから 透過型のディスプレイ になっており、また 各種センサやCPUやGPUが組み込まれたWindows 10が動作するPC でもあります
• 開発者向けのドキュメントやSDKが公開されているため、自由にHoloLensを利用したMRアプリケーションを作成できます
• ゲームだけではなく、上記イラストのような遠隔医療といった幅広い応用先が期待されることから注目を集めています

届きました

2017年1月18日から、日本国内でも販売が開始されたため、弊社にも早速２台届きました。

薄くてちっちゃいマニュアルは、日英両言語対応、本体には技適マークも付いており、日本に対応した製品だと実感できました。

しかし、中身は日本語向けに特別な対応がされたわけでもなく音声認識も基本英語なので、正しい英語の発音が出来ないとなかなかセットアップが進まないことになります。
また、Windows StoreにおいてあるHoloLens向けのアプリも今の所は英語ベースのものが多いので、リスニングも出来ないとゲームなども十分楽しむことはできません。

Microsoftのサイトには、

「HoloLens Developer Edition および Commercial Suite は、消費者契約法第 2 条において消費者にあたらない開発者向けのみの販売となっています。商品とその関連サービスおよびサポートは英語のみでのご提供となっています」

とありますので、まあ、仕方がないとは思いますが。

文頭のイラストの感じを真似するには、HoloLensでHoloHeartをすると良いと思います。
このHoloHeartは3Dの心臓を拡大縮小回転させて眺めたりするものなのですが、「beat」と発音すると心臓が動き出して少々気持ちが悪いアプリです。

丸一日付けっぱなしにしてみた

何事も体験しなければ始まらないだろうということで、業務をしながらですがオフィスにて丸一日付けっぱなしにしてみました。

気がついたこと

• VRと異なり全く酔わない
  • 現実の風景が見えるというMRの特性だからなのか、酔いは皆無です。オフィスにはVRよりもMRが相性がよいかもしれません
• HoloLensの専用収納ケースにしまい込むのが面倒
  • 専用収納ケースにしまうにはベルトを絞った状態にし直す必要があり面倒です。100均で売ってる発泡スチロールのマネキンの頭部みたいなものに置いておきたいと思っています
• 寝ながらの利用が難しい
  • 寝たまま複数のウィンドウを開いて操作できると楽そうで良いなと思っていたのですが、後頭部に出っ張った部分があるので、それが枕などにぶつかり、頭を自由に動かせません
  • 頭を動かせないということは、HoloLensではマウスを動かせないことと同義なので辛いです
• Windows10以外での開発が難しそう
  • UnityはWindows版以外が存在しますが、HoloLens用の拡張部分はWindows版以外だと見つけられませんでした
  • 私はMBP上のVirtualBoxに入れていたWindows10に、Unity最新版を入れてビルドを行いました
    • Visual Studioでビルドせずに、UnityからHoloLensでプレビューする方法は、何故か今回実行できませんでした（connectボタンが押せず）

よく聞かれたこと

• ずっと装着していたけど辛くなかった？
  • 頭の上を通る補助バンドを着けた場合は、HoloLensを装着しぱなっしでも耐えられますが、補助バンドがない場合は厳しいです。ただし、周りの人が違和感に耐えられなくなるので、装着者の周囲の慣れが必要です
• 肝心の着け心地は？
  • 補助バンドの有無で大きく変わります。補助バンドありだと装着感は良いですが、無い場合は重さが辛いです
• ポインタ操作（視線の先に点として表示されるマウスカーソルのようなもの）って慣れるの？
  • 頭を動かす必要ある点はやや面倒ですが、数時間で慣れてきました。本当は視線のみで動くと嬉しかったのですが、現状のHoloLensの限られた視野を考えるとちょうどよいトレードオフかと思います

次回予告

• 2つのHoloLensで同じ空間を共有するアプリケーションの仕組みと、その作り方を共有します
• 応用例のアイデア出しや実装を試していきたいことはもちろんとして、社内外にHoloLens(MR)体験をもっと布教していきたいと考えています
• AR/VR/MRの研究開発は担当者を置いて重点的に進めていく予定です。お楽しみに！

※2つのHoloLensを使って同じ空間の同じグラフィックを共有している図です。

Space Apps Challenge は宇宙関係のオープンデータの活用を目指し、NASA（アメリカ航空宇宙局）の呼びかけにより始まったハッカソンで、2012年から毎年1回4月に開催されています。
2016年は世界135の都市で同時開催し、日本国内では会津、つくば、東京、相模原、福井、宇部、熊本（平成28年熊本震災の影響のため、熊本会場は中止となりました）で開催します。

People’s Choice

各都市の上位2作品が、後日開催される国際コンペティションに参戦し、世界中から選出された作品とその成果を競います！

また、People’s Choice とは一般人による投票の意味で、各都市につき1作品が選ばれます。
Space Apps Challenge では、25チームに絞られた後に一般投票が行われるようです。

2016年つくば会場のPeople’s ChoiceはThe ZEN(ザ禅)が選ばれました！
ぜひ以下の記事を確認下さい！
ハッカソン道中記#3～社会人2年目のリケジョがハッカソンに出てみました～

投票方法

投票サイトにアクセスします。

【投票サイト】
https://2016.spaceappschallenge.org/

※2016年は、5月10日～5月16日の一週間です！

ユーザ登録

Space AppsからEメールが来ていないか確認します

ログイン

先ほど登録したユーザ名、パスワードを入力します

投票する作品を選択

Awardページから投票したいプロダクトを選びます。

よろしければ、ぜひとも『The ZEN』(ザ禅)に投票下さい。笑

投票

おしまい

投票作業は以上です。
期間中は毎日投票できるので、お気に入りの作品を応援しましょう！

結果が楽しみですね！

投票はこちら（※2016/05/16迄です！）。
https://2016.spaceappschallenge.org/challenges/mars/space-recreation/projects/the-zen

※Space Apps Challenge 2016への投票方法はこちら

はじまり

こんにちは、FutureArchitectの川久保です。

IT歴約1年、社会人2年目新人女子のわたしがハッカソンに挑んだ全てをお伝えします！

2016/4/23(土)から二日間、米NASA主催の“宇宙”をテーマにした世界最大級のハッカソンイベント『Space Apps Challenge』に参加してきました。

プログラミング未経験でIT系企業に飛び込んだわたしにとってハッカソンは一大事。
まずは必要な物を考えました！

…そう、食料です！
大学で農学部だったわたしは、生産的な活動には食事が何より重要だと理解しています！
ハッカソンを戦い抜くには大量の食料が必要なはず。
そう考えて即行動した結果、深夜にキャリーバックいっぱいの食料を買い漁る姿を同期に目撃されて怪しまれたとか|д・)

会場は東京会場ではなく、JAXA筑波宇宙センターで開催される筑波会場です！
ロケットが印象的な、のどかなこの地が今回の舞台となります。

会場に着いて

ワイワイしている雰囲気を想像していましたが、筑波会場の参加者は少ないため、思ったよりも静かでした。

そんな中、NASAのステッカーを貰った私は、最近買ったばかりのMacに貼って静かに喜んでいました♡

NASAのステッカーが格好いい！ SPACE APPSは黒を選択しました（●＾o＾●）。

ハッカソンスタート

そんなこんなで、ついにハッカソンがスタートしました！
まずはチームで記念写真。

ロケットのつもりです(・ω<)

写真撮影も終わってみんなで取り掛かりましたハッカソン。

まずはアイデアソンからです。

せっかくだからFrom JAPAN感を出したいよねーとなり、
考えたものが、

忍者？

盆栽？

富士山？

TOYOTA？ ？

いやいやいや

座禅でしょ＼＼\ ٩( ‘ω’ )و //／／

ということで作ったものがこちら！

The ZEN（ザ禅）！
VR（バーチャル・リアリティ）のアプリケーションです！

VRと聞くと日常に『無いもの』を生み出すイメージがありますが、The ZENはあえて現実の地球上に『あるもの』を再現し、宇宙飛行士のストレスを取り除くことを目的にしています！

このアプリ、いろんな空間で座禅が出来るんです。
横には可愛い女の子がいて、一緒に座禅してくれるんですよ。
可愛いですよね、Unityちゃん(ﾉ∀`)♪

Unityちゃんを座らせる

『The ZEN』はUnityで開発しました！
わたしはUnity未経験だったので必死にキャッチアップし、Unityちゃんの操作周りをメインに担当しました！

このUnityちゃん、最初こんな感じなんですよ。

この状態から…

(っ´∀｀ )っじゃーん！！！

座禅をさせました！
私が！！！（※Unity初心者）

※がんばっている様子です

blenderという3Dのモデリングアプリケーションも併用して利用しましたが、中々操作に癖があり苦労しました。

初めて上手くいった時は、本当に涙が出ました(´⌒｀。)！ 笑

結果発表

厳正なる審査の結果…・・・・・
・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・
・・・・・・・・・・・・・・・・・

People’s Choice賞 を獲得╭( ・ㅂ・)و ̑̑ ｸﾞｯ ！！！

一般人の投票によって受賞が決まる賞です。
SpaceAppsChallngeの場合は以下の手続きで進むようです。

1. 世界161の会場からそれぞれ1チームを選出（=People’s Choice賞）
2. NASAによって25のセミファイナリストを選出
3. 一般投票によりトップ5のファイナリストを選出
4. 米国のケネディ宇宙センターで最後のプレゼンテーション

つまり、わたしたちの挑戦はまだまだ終らないです٩( ‘ω’ )و！

To be Continued.

世界大会

People’s Choice を受賞した私たちが、まず行わなければならないことがあります。
NASAの方々から選んでもらうためのPV作成です！

作ったPVがこちら！

この後、NASA（SpaceAppsChallengeの運営チーム）による厳正な審査により25チームに選出されます。

結果やいかに…！

選考結果

PV投稿から2週間後、1通のメールが。

タイトルには
Congratulations Team ZEN!!!!
の文字が！！

セミファイナル進出です！！！

ファイナリスト選出

セミファイナル進出後は、一般人によるファイナリスト選出がはじまります。(5/10-5/16の一週間)

現在（2016/05/11時点）絶賛、投票期間中です！

下記URLからぜひ投票をお願い致します！！
期間中は毎日投票が可能です！

【投票サイト】
https://2016.spaceappschallenge.org/challenges/mars/space-recreation/projects/the-zen

※投票にはログインが必要です。
Space Apps Challenge 2016への投票方法まとめ

現在は11位（2016/05/11時点）、中々厳しいですが宣伝をさらにがんばります！