バーチャルデスクトップ環境の現状と、VRの個人的な感想

こんにちは。CSIGの井上です。

秋のブログ週間2022 の1本目です。

私はしばらく前からVRに興味があり、Oculus Go（2018/05-2020/12）から使っています。MetaのHMDは、最近Oculus Quest Proが発売され、来年2023年後半にはOculs Quest3が発売される可能性が高いという、VRヘッドセットとしては定番の製品です。最近はそこそこVRを利用したサービスや製品が増えましたが、まだ一般的という領域までは広がっていません。ヘッドセットという日常で使わないものが必要な点で、普及しないのでしょう。

モノが普及するには、「人間の欲望を刺激するか業務で使うか」だと思うので、今回は一般の業務利用で使えそうな、バーチャルデスクトップ環境についてお話しをすることで普及の一助になればと思い、書いてみました。

• 本稿の注意事項
• バーチャルデスクトップ環境とは？
• Immersedの場合
• VRの個人的な感想
• 今後のVRの展望

本稿の注意事項

本稿は、これを書いている井上個人の見解であり、Futureグループとしての見解ではありません。
私個人の見解を共有することで、この分野の興味を持っていただいたり、議論のヒントになればと思い、公開します。

• プログラム言語など違い、発展途上で周辺環境が変わりやすい分野と考えます。その為、気が付けば常識が変わっている、という事は十分あり得ます。
• 体験しない事には議論ができない分野でもあるため、まずは興味を持つ/体験することが重要と考えます。
• VR関連に関する読み物、という感覚でご覧ください。

あと、この記事を書くことで、会社でバーチャルデスクトップ使えるようにならないかな…、という下心もあります（後述のセキュリティ問題を気にしないといけないので、難しいかも）。

追加説明が必要そうな単語は、「（※）」を付けており、本稿最後の章に補足説明を記載しています。

バーチャルデスクトップ環境とは？

(meta Horizon Workrooms)

PC作業をVR上で行うための環境、と言えます。VR空間にディスプレイを配置し、そこでいつも通りPC作業をする感じです。

バーチャルデスクトップの利点としては以下が挙げられます。

• 物理的なモニタが不要になる
• 作業環境を自由に変更できる
• ヘッドセットで視界が奪われる為、集中力が高まる

物理的なモニタが不要になる点ですが、PCとヘッドセットをリンクすることで、VR上に仮想モニタを含むデスクトップ環境を表示します。アプリケーションによりますが、複数モニタを仮想的に配置することができ、外付け物理ディスプレイを持っていないノートPCでも 3画面作業 ができたりします（但し、一般的には解像度がFHD程度が限界。ヘッドセット側の解像度や処理負荷に依存する為）。屋外でFHDを3-4画面を使った作業が、ヘッドセットのみで実現できます。

作業環境の自由な変更については、例えば「喫茶店」「森の中」「ビーチ」「映画館」「宇宙」などの周辺風景を設定することができます（但し、アプリケーションによる）。同時に、環境音も実装されていることが多いので、「喫茶店でBGMを聞きながら」や、「森の別荘で鳥のさえずりを聞きながら」で作業できたりします。出社して仕事をしているが気分転換に喫茶店で少し作業する、のような感覚で作業環境を変えられます。

そして集中力が高まる件ですが、リアルの視界がほぼ奪われ、VRとして作成された必要な情報のみが目に入ってくるので、集中力が途切れづらいという利点があります。自宅のごちゃごちゃした部屋でリモートワークをするのと、（見た目だけは）山小屋で暖炉の音を聞きながら仕事をするのでは、雑念の入り方が違いますよね。

ワーケーションで使えれば、ショルダーハッキング（※）の心配をしなくて済むので、便利なものだと思います。

そんな利点のあるバーチャルデスクトップ環境ですが、例えばOculus Quest2で使えるアプリケーションだと以下があります。

• Immersed (https://www.immersed.com)
• VertualDesktop (https://www.vrdesktop.net/)
• BigScreen (https://www.bigscreenvr.com/)
• Meta Holizon Horkrooms (https://www.meta.com/jp/work/workrooms/)
• etc..

この中で仕事やプログラミング等の作業で使うなら、Immersedが使いやすかったので、これを例に紹介します。その他のアプリケーションも数年前から格段に進化しているのですが、例えば「みんなで集まって映画を見る」のように、作業用途には合わないものもあります。

Immersedをとり上げますが、特定の製品をとり上げるというより、「プログラミングの話をするときにGo言語を例に話す」のような説明のための手段や実装例として取り上げています。他の製品でも同様のことはおそらくできるはずです。

Immersedの場合

Immersedで便利な機能は、以下のようなものがあります。

• 仮想モニタ機能
  • 実機にモニタが無くても、仮想的にモニタを追加できます。
  • 他のアプリケーションだと、実機に接続されているもののみ、1枚だけのみ、というものが多く、ビデオカードなしに複数枚モニタを追加できるものは現時点ではImmersedのみのようです。
  • 但し、モニタ数が多くなると負荷が高くなる、FHD(1920x1080)に抑えられてしまう、という制限はあります。リアルで4Kモニタを付けていても、FHDになります。
  • 解像度は処理負荷に直結し、処理負荷増大はフレームレート落ちを招き、それにより実用に耐えなくなるので、仕方がないと思われます。
• 仮想カメラ機能
  • VR上でバーチャルなWEBカメラを利用できます。画像3枚目は、zoomに参加している例です。
  • これにより、WEBオンラインミーティングにバーチャルデスクトップ環境で参加した際に、アバターを表示することができます。
    • VR上で会議をすれば全員アバターでコミュニケーションを取れますが、相手がヘッドセット等を持っていない場合は、ZoomやGoogle meetやMicrosoft Teamsのようなものを使う事になると思います。その際に違和感なく（？）参加者画面を表示できます。
• 部分的パススルー機能
  • VR上でデスクトップを操作する際、普通は物理キーボードやマウスを見ることができません。
  • 今までは「特定製品であれば自動認識して、VR上に表示できる」という手法が探られていましたが、現在は「VR上でキーボードがある部分だけパススルー（※）で現実を見せる」という方法で物理キーボード等を見ることができるようになりました。画像1,3枚目下側の黒い長方形の部分が、パススルー表示されている部分です。スクリーンショットではパススルー内容は記録されないようです。
    • 自作分割キーボードは、カメラで認識してそのオブジェクトをVR上に表示する、のは至難の業です。それであれば、キーボードがある部分だけパススルー出来る機能の方が簡単に問題を解決できますね。
  • 慣れていれば「ブラインドタッチや勘で探り当てる」や「ヘッドセットの鼻付近の隙間から手元を見る」などで対処できますが、パススルーで見えたほうが分かりやすいですね。

これらの機能を組み合わせ、VR上のカフェでBGMを聞きながら3枚モニタでこの記事を書いていたりします。

使い勝手

「4Kモニタを使わないと見ることができないような多量なデータを処理する作業」には向いていませんが、「通常の作業」には支障が無いと思います。WordやExcelやWEBブラウズ、メール確認などはそれほど大きい解像度は無くても大丈夫だと思います。

• モニタを自由に複数枚配置できるので、首や目に優しい気がします。
  • 解像度はFHDですが、奥行き/上下/傾き/湾曲 を制御できます。
• 集中力が高まる、かもしれません。
  • 私の自宅のリモートワーク作業部屋はデバイスで溢れているので、ヘッドセットでそれらを見ないで済むことで集中できています。部屋がきれいな人は…知りません。
  • 競走馬もそうですが、視界の制限が集中を促すと考えます。
    • 私は土日にプライベートの作業をすることが多いのですが、”09:00に始めて、気がついたら17:00だった”という事も多々あります。それくらい集中出来ました。
• 気分転換がしやすい。
  • いつもはカフェで作業しますが、時々、洞窟や山小屋に変えることで、バーチャルワーケーション気分を味わえます。必要なら、Richo THETA（360度カメラ）で撮った画像なども背景にできます。
  • これを緊急作業等の泊まり込み残業に応用すると、バーチャル帰宅もできるはずです。最近はVR睡眠（※）という話もありますが、本稿の話題ではないので割愛します。

VRの個人的な感想

バーチャルデスクトップが流行するかは、バーチャルデスクトップだけの話では無く、それを構成する要素である「VR」自体の普及に依存すると考えられます。
この章では、バーチャルデスクトップにとどまらず、VR自体について考えてみたいと思います。
尚、あくまで筆者の個人的な感想/考えとなります。

バーチャルデスクトップ、ひいてはVRが普及しない原因を考えてみると、以下のような原因がありそうです。

• VR利用自体が、非日常の活動
  • HMDを付けるという行為が、例えばスマホを使う程度の心理的障壁にならないと、VRが流行ることは無いような気がしています。
  • HMDを付ける手間と、それにより得られる利便性が、今は均衡が取れていないため使われていないと思われます。
• VR酔いが存在する
  • FPSゲームで酔うように、VR利用でも酔う事があります。これは、視覚による情報と三半規管による情報が乖離していることで発生すると考えられます。「乗り物酔い」や「3D（ゲーム）酔い」等と同じです。
  • バーチャルデスクトップ利用であれば、この部分は大幅に影響が無いと考えられます。
    • VR酔いをする場合は、画面は大幅に動いている（=加速度等が発生すると脳は認識している）のに実際は一切動いていない為、視覚と三半規管の認識にずれが生じるからと考えられます。
    • バーチャルデスクトップの場合、椅子に座って利用する為に下半身が固定されており、可動域は三半規管の認知範囲に収まっています。その為、認知差はほぼなく、比較問題として酔いづらいと考えられます。
    • 但し、処理能力不足等でフレームレートが低い場合、酔いは発生します。私は酔いました。フレームレートが低く画面が断続的に描画されることで、描画間の加速度等の認知で問題が発生すると思われます。故に、バーチャルデスクトップにおいては、適切な解像度や仮想モニタ数でフレームレートが落ちない程度にする必要があります。
• 社会が対応していない
  • 例えば、今働いている会社の情報システム部に「明日からバーチャルデスクトップで作業したいので、通信許可をしてください」といっても、許可されることはほぼほぼ無いのではないかと思います。特に情報漏洩対策等でネットワークの制限等を行っている組織では、限りなく不可と思われます。
  • これはそもそも仕方のない事で、どのような通信が行われるのか、それによる会社資産への影響はどの程度か、セキュリティ的なリスクは何があるのか、などが通常は知らないし考えたことも無いからですね。
  • その為、通信要件等を把握する、利用に際したリスクを洗い出す、等の明確化が必要です。そしてこれらを検討すること自体がコストなので、会社として「使ったらよい事がある」（コストを下げられる、作業効率が上がる、等）ことを認識させる必要がありそうです。故に、会社と関係ない場面で使い有用性を広める、という活動で「そういうものがあるんだ」という認識を広めることが重要かもしれません。そしてこの記事がそれだったりします。
  • その点、必要と認識された業務範囲や業界では、普通に利用されています。
    • 例えば、研修分野などは積極的に活用されていると思われます。溶接であったり、自動車保険の被害査定研修であったり、医療での手術研修などもあります。実際に物理で実施するよりも安全かつ安価に実施できるという利点があるため、利用されています。
    • これはあくまで「研修」という範囲であるため、セキュリティ的に侵害されても会社資産情報が漏洩することは無い、などの分離がされているためとも思われます。その点、バーチャルデスクトップは社員端末の代替えとすれば、難しいことも確かです。

VRとセキュリティ

前述の通り、VRでもセキュリティ観点で物を考える必要がありそうです。VRでのセキュリティは、一般的なコンピュータシステムのセキュリティと、VR特有のセキュリティの両面から対応する必要があると思われます。

• フローとしてのセキュリティ
  • VRで何かを実現する際の、実現したいことに対するスキームやフロー自体のセキュリティ対策が必要です。
• 実装としてのセキュリティ
  • 上記フローを実装した際の、セキュリティ対策が必要です。
  • 例えば…
    • 利用する環境自体のセキュリティ
      • UnityやUnrealEngineなどの利用技術のセキュリティ対策が必要です。利用アプリケーションのバージョン管理やセキュリティ更新などが含まれます。
      • VRプラットフォームとしてのClusterやVRChatなどのサービスのセキュリティレベルも検討する必要があります。サービス提供側の設計に依存します。
        • 認証認可、保持する情報、侵害リスク、等の検討が必要かもしれません。例えば、aws自体はセキュリティ機能は持っているが、ユーザが設定し忘れた/設定ミスした、のような状態が無いようにする必要があります。
    • 環境上での実装のセキュリティ対策が必要です。
      • 利用技術やプラットフォーム上で、自らが構築したもののセキュリティ対策は、自分自身で実施する必要があります。
        • WEBシステムで言えば、自作のWEBアプリが該当します。前述の環境自体は、ミドルウェアやOS層に該当します。
        • 例えば、侵入不可に設定し忘れた領域、他者からVR上で入力した情報が見えてしまう設計、VR上での資産に対するセキュリティ、等が考えられます。これらはおそらく自動検査は難しいと思われ、ペネトレーションテストのようなデバッグ作業が必要になると思われます。
    • 通信経路におけるセキュリティ
      • どこからどこへどのような内容が送受信されるのか、暗号化は適切なレベルなのか、等の通信のセキュリティ対策も必要です。
• 利用者自身へのセキュリティ
  • 利用者の物理的な安全保護対策が必要です。
    • 視界がヘッドセットにより奪われる為、周囲への物理的な安全確保が必要となります。
      • 利用環境の適切な設計、利用者外人員での監視、等で保護する必要があります。
      • 自宅リモートワークなら自宅の安全性に依存、会社オフィスであればオフィス内での安全性に依存しています。宅外リモートワークやワーケーション時に注意が必要です。
      • 保護に関しては、怪我等もありますが、悪意を持って接触される可能性も考慮が必要です。
  • 利用者への心理的な保護対策が必要です。
    • 意図をもって、利用者の認知を歪ませる/誤認させる状況への対処が必要と思われます。HMDで表示するVRや、利用者への環境に対する働きかけなどが想定されます。
    • これらはおそらく心理学などの分野と強調する必要もあるかもしれません。

今後のVRの展望

VRの文脈でメタバースが語られることも多いですが、メタバース自体は「体験を得るための”手段”」までは規含まれていないと考えます。メタバースに参加する際、iPad等で2Dとして参加する（表現上は、3Dを2Dで描画している）というのは割と普通かと思いますし、VRでフルトラッキング（※）で参加する人もいます。参加コストとしては2D描画となる、PC/タブレット/スマホでの参加が大多数と思われます。故に、メタバースが一般化/進化しても、VRが同時に一般化するとは限らないです。同じメタバース内でも、2D/VRでは得られる体験が異なるため、メタバースとVRは切り離して考えてもいいかもしれません。

一部とはいえVRが浸透してきたのは、機材の低価格化/軽量化もあると思われます。今まではハイエンドPC＋外部トラッキング装置＋いろんなケーブルで数十万だったのが、Oculus Questにより5万円台で「HMD単体で使える」ようなりました。また、Googleカードボード（スマホを使った簡易VR）もありました。今後は、求められる機能的/性能的には5万円台より下がることは無いような気がするので、普及するには「利用したいと思えるコンテンツが増える」「使った方が有利である状況が増える」事が増える必要があります。ハードウェア的にはフェイストラッキングやアイトラッキングも活用されていくようです。

会社の通常業務業務でVRが使えると、普及するかもしれません。複数のモニタを使う人達は、バーチャルデスクトップ環境を使う事で「物理モニタ」という資産が不要になりますし、モニタ設置スペースも不要になります。また、作業環境を変えられるので、VRリモートワークも可能です（そして、残業時のVR帰宅も…）。社員を物理的な場所から解放する、という点では良いと思うのですが…

現状では「日常使い」が一般的に難しいので、日常生活に普及していくのは難しいと思われます。しかしながら特定分野では着実に実績を伸ばしているため、用途が見つかれば突然一部に普及する、という可能性はありそうです。VRはあくまで手段であり、その手段が有効である状況が発生すれば普及しそうです。日常が便利になるか/楽しくなるか、という点で興味があるので、引き続きVRやメタバースに注力していこうと思います。

以上

用語とか

• ショルダーハッキング：
  • 画面やキーボードを肩越しにのぞき込んで情報を搾取する方法。VRであれば、ヘッドセット内に表示されるので画面ののぞき込みは防げる。キー入力はVR上に表示されるソフトキーボードを利用することで、のぞき見はされない。
  • ヘッドセットを利用して作業する場合、物理的に不審なことをされない場所を選ぶことも重要。ヘッドセットで視界を完全に塞がれるので、何かをされないような環境（管理者のいるコワーキングスペース等）に身を置く必要がある。
• パススルー：
  • ヘッドセット外部の映像を、VR上に表示すること。
  • Oculus Questの場合は、低解像度/モノクロの外部カメラがヘッドセットについており、その映像をVR上に透過表示している。
  • Immersedの場合、キーボードがある範囲のみをパススルーで表示する、任意の一部分だけパススルーする、全体をパススルーする（低解像度/白黒の周辺風景にモニタを浮かばせる）を複数選択できる。
  • 私の場合、キーボード～トラックボールの並びをパススルー表示、ハンドトラッカーをノートパソコンのタッチパッド上に置いているので部分的にパススルー、という利用をしている。
• VR睡眠：
  • HMDを装着したまま、VR空間で寝ることを指す。
  • 睡眠だけというより、他者との睡眠迄の空間共有を楽しむことが多いようだ。泊りの旅行、パジャマパーティー、等に類する行動に近い。VRChatで行われることが多いようだ。
  • 研究結果として、VRは不眠症の症状を改善する、というものもあるようだ。但し、HMD自体が睡眠に最適化されていない為、慣れないとストレスになる。
    • Quest2などは外部カメラにより6DoFを実現しているため、”寝室で電気を消す”状況だとトラッキングができなくなる。HMDの遮光性を利用して、明かりをつけたまま寝ることになる。
• フルトラッキング：
  • 一般的にHMDを付けてVRを利用する際は上半身だけのトラッキングを利用しているが、下半身を含めた体全体の動きをトラッキングすることを、フルトラッキングという。
  • Quest2の場合は、手先のトラッキング（ハンドコントローラ、若しくは外部カメラによる手の認識）とHMD自体の6DoF（The six degrees of Freedom:forward/back,up/down,left/right,pitch,yaw,rollの6自由度）で認識している。その為、例えば肘は手の動きと胴体から推定されているし、下半身は移動と上下動で推定されている。
  • 下肢などに複数のセンサーを設置する/外部からカメラなどで読み込む事で、全身の動きをトラッキングする（フルトラッキング）。
  • ただ、VR自体の一般用途は会議であったり会話によるコミュニケーションであるため、下半身のトラッキングが必須となる場合は限定されると思われる。現時点では、フルトラッキングの方が表現力が上がるというものであり、無くてもコミュニケーション上は問題ないと思われる。