連載
西川善司の3DGE:ついに話してもらえた。PlayStation VR2を支える技術のすべて〜PS VR2はこうして作られた
2022年9月に行われたPS VR2のお披露目イベントでは,詳細な質問ができなかったので(関連記事),これはなんとも嬉しい機会だ。筆者は意気揚々と,ソニー本社に向かったのである。
2016年に始まったPS VR2の開発プロジェクト
取材に対応していただいたのは,高橋泰生氏(グローバル商品企画部 1課 Principal Product Manager)だ。
まずは,PS VR2の開発メンバーについて聞いてみた。
高橋氏:
正確な人数は……正直なところ,不明です(笑)。関係したスタッフが多すぎて,把握できないんです。PS VR2のトラッキング技術検討に携わったスタッフだけでも,数十人ですね。PS VR2にはカスタムLSIが使われているので,その設計担当チームもいますし,カメラセンサーおよび,そのカメラに用いるレンズの設計担当チームも,社内からの起用です。
また,PS VR2は構造物なのでメカ設計,熱設計の担当チームもいます。一言で言えば,それなりに大きな開発プロジェクトでした。
会場に用意されていたPS VR2の開発試作機(プロトタイプ)を観察すると,半分くらいは初代PS VRの改造モデルのように見える。PS VR2の開発はいつ始まったのだろうか。
高橋氏:
開発プロジェクトが立ち上がったのは2016年です。本格的な技術検討や試作開発が始まったのが2017年ですね。
初代PS VRが発売されたのは,2016年のこと。この年はFacebook(現 Meta)の「Rift」や,HTCの「VIVE」といったVR HMDも発売となり,「VR元年」ともてはやされたものだ。
「VR元年」と騒がれた真っ只中に発売された初代PS VRは,大きな注目を集め,ゲーム機の専用周辺機器としては異例のヒット商品となった。しかし,2018年から2019年あたりにVRブームは一段落し,ゲームファンの関心は次世代機のPS5へと移っていく。
ここで筆者が思ったのは「PS VR2の開発に,逆風はなかったのか」。つまり,「VRはもうやらなくもよくない?」という意見はなかったのかということだ。
高橋氏:
それはなかったです(笑)。SIEの考えとして,「VRは新しいコンピュータ・エンターテイメントの領域を広げていく,PlayStationブランドにおいて必要な遊びの形である」ということに揺らぎはありませんでした。もちろん,我々も「市場のVRに対する期待値」の揺れは実感していましたけどね。
初代PS VRは,機能とコスト(価格)のバランスを考えると,かなり頑張った製品だったと思う。今でこそ,単体でVR体験が楽しめるスタンドアローン型VR HMDが登場しているが,2016年当時にそんなものはなく,VRを楽しむためには20万円を超える高性能ゲームPCと,10万円近いVR HMDが必要だった。
しかし,初代PS VRは,PS4のほかに4万4980円(税別)の初代PS VRを購入すれば楽しめた(2018年に税別3万4980円に値下げされた)。
ただ,価格を抑えるために,トラッキング用のセンサーとして「PlayStation Camera」(以下,PS Camera)を使用したり,コントローラにPS Moveを採用したりと,既存技術(と製品)をパズルのように組み合わせて実現したものだった。初代PS VRとPS4の接続様式はほとんどパズル状態で,筆者も最初のセットアップ時には「USB端子とHDMI端子,いくつつなげるんじゃ」という独り言を叫んだ。
高橋氏:
初代PS VRの開発プロジェクトが立ち上がったときには,我々も「PS Cameraを使うの? PS Moveも使うの?」という感じでした(笑)。とにかく「PS4の枠組みの中と,既存技術の組み合わせで新しい体験を作り出す」というところに,重きを置いていたのは事実です。しかし,PS VR2の開発では,基礎的なシステム設計から始めました。同時に開発が進行していたPS5に搭載する機能にも,大きな影響を与えています。
まずはトラッキング方針の再考から
高橋氏:
開発の最初期は,トラッキング技術の検討から始めました。当時は,初代PS VRが採用していたアウトサイドイン方式を進化させるのか,あるいはインサイドアウト方式に転換していくのか,同列で検討していたんです。
「アウトサイドイン方式」とは,ユーザーが身に付けるVR HMDやVRコントローラに可視光LEDや赤外光LEDなどの目印を実装し,ユーザーの周囲の環境に設置したセンサー類でこれを追跡して,VR HMDやVRコントローラの位置や向きを検出する仕組みだ。初代PS VRが採用していたトラッキング技術は,まさしくこのタイプに分類される。
PS VR本体や,モーションコントローラであるPS Moveの先端が光っていたのを覚えている人もいるだろう。これは,発光部をPS Cameraで捉え,得られた画像情報に対してコンピュータビジョン処理(画像や映像を分析して,そこから多様な数理情報を導き出す処理)を行い,VR HMDやVRコントローラの位置や向きを算出していたためだ。
これはPS VRに限った話ではなく,2016年前後に登場したVR HMDは,アウトサイドイン方式を採用するものが主流だった。
一方の「インサイドアウト方式」は,VR HMDにカメラなどのセンサー類を実装し,これらが捉えた情景……すなわちユーザーの周囲にある情景や,進行方向における変化を連続的にコンピュータビジョン処理することで,VR HMDの位置や向きを算出する仕組みになる。
たとえば,カメラなどのセンサー類で捉えた周囲の情景(に含まれる特徴)が左に流れれば,VR HMDは逆方向の右側に動いていると,情景が拡大されたら前に進んでいると推測できる。なお,インサイドアウト方式であっても,VRコントローラにはLEDなどの目印が付いているケースが多い。これは,VRコントローラに実装された赤外線LEDなどの光を,VR HMDに実装したセンサー類でトラッキングさせている。
プレイする場所に特別なカメラやセンサー類を設置しなくてもいいインサイドアウト方式は,今やゲーマーや一般消費者向けVR HMDにおける主流の方式と言えよう。
次の写真は初代PS VRと同じく,アウトサイドイン方式トラッキングの技術検討モデルである。赤外光LEDの実装の仕方を変えた2パターンを制作し,トラッキング精度の比較を行っていたという。
具体的には「トラッキング用カメラをどう設置,設定したときに,どれくらいの精度で精度のトラッキングを行えるのか」「ユーザーが極端に首を曲げたとき,トラッキング用カメラがどのLEDマーカーを見失うのか。その場合のトラッキング精度はどうなのか」などを検証していたようだ。
さて,ここれらのプロトタイプは,どちらも前面中央にカメラユニットが組み付けられている。これは,VR HMDをかぶったままでも現実世界の視界を確認できるようにするための,「シースルービュー」(パススルービュー)を実現するためのものだ。つまり開発最初期の段階から,PS VR2にはシースルービューの搭載が決まっていたことがうかがえる。
高橋氏:
この2台のアウトサイドイン方式のプロトタイプでは,シースルー用カメラで撮影した周囲の情景も,補助的なトラッキング用途として活用していました。つまり,インサイドアウト方式的な処理系も同時に活用するソリューションだったんです。いうなれば,アウトサイドイン方式とインサイドアウト方式のハイブリッド技術の検討を行っていました。
なお,開発初期の段階から,ゲーム機(PS5)との接続をケーブル1本だけにすることは決定していたそうだ。ただ,トラッキングなどの処理系を,どこまでPS VR2本体に持たせるのか。あるいは逆に,どこまでならPS5へオフロードしてもいいのか,といったことは念入りに検討が進められた。
そうなると,PS5本体の開発チームとの深い連携が不可欠になるだろう。
高橋氏:
PS5のメインプロセッサ(SoC)の仕様に関わってくる部分もありますから,とくに「どういうインタフェースでPS VR2と接続させるのか」という部分は,かなり早い段階でSoC設計開発チームと議論を行いました。
PS VR2は,PS5の前面にあるUSB Type-C端子に接続する。PS5本体の発表直後,この端子は10Gbpsの帯域をもつUSB 3.1 Gen 2 Type-C(以下,USB 3.1)であるとアナウンスされていたが,実際には映像出力も兼任できる「DisplayPort Alternate Mode」(※以下,DP ALTモード)対応のUSB 3.1 Type-C端子だった。この仕様は,PS VR2開発チームとの議論の末,決定されたことなのだそうだ。
さまざまな検討の末,PS VR2では,インサイドアウト方式のトラッキングが正式採用となる。その決め手となったのは,やはりセットアップの簡単さが大きな理由だったという。PS5でも,Webカメラのような「HDカメラ」が純正オプションとして発売されているが,PS VR2では外付けの単体カメラは不要となり,USBケーブルでPS5本体と接続するだけで使用可能となったのだ。
インサイドアウト方式の検討用プロトタイプには,ユニークなものがあった。それは「かぶらずに手で持つタイプ」のプロトタイプだ。
高橋氏:
このプロトタイプを開発したのは,2018年に差しかかっていた頃だったと思います。本体フレームに取り付けられた4つのカメラは,位置や向きを細かく調整できるようになっていて,我々が求めるトラッキング精度を満たす最適なカメラ配置を探るための実験機でした。カメラ位置を調整しながら実験を繰り返すため,手に持って使う仕様になっているんです(笑)。レンズを見ていただくと分かるように,かなり広画角なカメラが実装されています。
何をPS VR2で処理して,何をPS5で処理するのか
続いて,下の写真のプロトタイプを見てほしい。初代PS VRがベースになっているが,一見して何の機械が分からないほどに入り組んでいる。ユーザーがこれを被ったときには,頭頂部付近に仰々しい基板が来るため,なんともマッドサイエンティスト感を醸し出しただろう。
このプロトタイプは,2018年後期から2019年にかけて活躍し,インサイドアウト方式のトラッキングを試せるものになっている。
少し話が逸れるが,2023年6月にAppleは「空間コンピューティング向け」を謳うHMD「Vision Pro」を発表した。Appleは,Vision Proのメインプロセッサとして,M2プロセッサを搭載することだけでなく,コンピュータビジョン系の処理を担当するカスタムプロセッサとして,新開発の「Apple R1」プロセッサを内蔵することを明らかにしていた。それを先取り,というわけではないだろうが,実はPS VR2にもコンピュータビジョン系の処理を行うカスタムプロセッサが搭載されている。
頭頂部の基板が目を引くプロトタイプでは,何をPS VR2側で処理するのか,あるいはPS5側で処理させるのかといった実験を行っていたという。頭頂部の基板にはヒートシンク付きのデバイスが4基搭載されているが,これらがPS VR2側のコンピュータビジョン処理チップの原型だ。ロジック自体をプログラムできる「プログラマブルロジックデバイス」(PLD)だと思われるが,要は,カスタムプロセッサの雛形というイメージでいいだろう。
もちろん,製品版では4基のデバイスを1つにまとめた小さく高性能なカスタムチップになるわけだが,ひとたびチップとして作り上げたあとでは,チップのハードウェア仕様を変更するのは,容易ではない。カスタムチップは論理設計の後,物理設計を行い,それぞれの工程での動作検証を経て,実際に製造していくため,完成までおよそ1年半かかる。チップの試作には,とんでもない時間とコストがかかることから,このプロトタイプを用いた開発工程は相当の気合いが入っていたはずだ。
高橋氏:
この時期の開発は,カスタムチップの仕様決めが大変でした。遅れることは許されませんから。ちなみに,このプロトタイプを使って,インサイドアウト方式のトラッキングを実動させるところまで行っています。
ここで,PS VR2に内蔵されている各種コンピュータビジョン処理を行うカスタムチップについて,詳しく見ていこう。
PS VR2のカスタムチップは,複数の処理を同時にこなせる,かなり高度なプロセッサである。まず,VR HMDとVRコントローラのトラッキング処理に用いる4基のカメラが捉えた映像に対し,それらを統合して,そこから特徴点を取り出すための中間画像を生成する。中間画像生成は,コンピュータビジョン処理における定番の工程だ。カメラが捉えた映像そのままでは,トラッキング処理を行うための特徴点を探しにくいので,映像から余計な情報を取り去ったり,解像度を調整したりして,特徴点となる情報を顕在化するような処理を行う。「コンピュータが処理しやすい映像」を生成するというわけである。
こうして生成した中間画像はPS5に送られる。VR HMDやVRコントローラの位置や向きを算出するトラッキング処理の最終的な処理は,PS5のCPUやGPUで行うわけだ。
PS VR2では接眼レンズ部の周辺に実装された複数の赤外光LEDと,左右の眼前に設置された白黒カメラを用いて,角膜反射法による視線トラッキングを行う。この処理自体は,カスタムチップ上で処理するそうだ。PS5本体で行うVR HMDとVRコントローラのトラッキングとは違い,視線トラッキングについては,視線の向きを表したベクトル情報をPS5側に戻している。おそらくユーザーごとの視線補正などは,PS5のCPUで行われるのだろう。
そのほかにカスタムチップ単体で行っている処理系としては,映像コンテンツをPS VR2内の大画面で楽しめる「シネマティックモード」の処理がある。
シネクティックモード時,PS5からはゲームを含む映像をフルHD解像度の最大120Hz映像として,PS VR2に伝送しているだけだ(※4K映像もフルHD映像に縮小している)。この映像を受けたPS VR2では,単体で3軸自由度(3DoF)のヘッドトラッキングを適用しつつ,ユーザーに仮想的な大画面を表示する。
高橋氏:
シネマティックモードでは,PS VR2の動作モードが切り替わるんです。自由度は3DoFに下がりますが,ヘッドトラッキング自体をLSIが処理しています。
こうして見ると,PS VR2のカスタムチップは,随分と高度なプロセッサであることが想像できる。
ところでVRではGPUに映像を描画させたはいいが,VR HMDを身に付けたユーザーが頭を素早く動かすと,描画を完了した映像を表示したときには,現在の頭部の位置から見るべき映像になっていないことがある。すると,ユーザーは「映像表示が遅延している」と感じるわけだ。
こうした現象を低減させる仕組みとして,VRの処理系にはタイムワープ処理(ソニーではリプロジェクション処理と呼称)が欠かせない。余談だが,タイムワープ処理は,「DOOM」や「Quake」の開発者であり,元Oculus最高技術責任者のジョン・カーマック氏が発明した技術である。
筆者は,このタイムワープ処理もPS VR2内蔵LSIで行っていると考えていたのだが,実際はどうなのだろうか。
高橋氏:
リプロジェクション処理はPS5側で行う実装としています。つまり,PS5からPS VR2には,そのまま表示できる映像,具体的には4K/120Hzの映像を送っているだけです。
シネマティックモードではない,通常のVRコンテンツモードの場合,最終的な(≒時間軸上で最新の)ヘッドトラッキング情報を行っているのはPS5側だから,そのほうが良いと判断したのだろう。
ただ,タイムワープ処理は画像のスクロール処理と接眼レンズの歪みに合わせた画像変形処理が介入するため,多少のGPU負荷が掛かる。それにもかかわらず,PS5側で行う実装としたのは,多少の追加負荷ならば,PS5の処理性能があれば,大した問題にはならないからだと思われる。
アイトラッキング精度検証用プロトタイプ
下の写真は,2019年あたりから開発に用いていたプロトタイプだ。主に視線トラッキングの検証用に用いられ,仕様面では製品版に限りなく近いものになっている。眼前には製品版と同等の有機ELパネルが組み付けられ,各種コンピュータビジョン処理を行うカスタムチップも,実動するものが組み込まれている状態だ。
プロトタイプをよく見ると,側面にミリ単位の目盛りマーカーが貼り付けてあり,テストユーザーの目から接眼レンズまでの距離を計れるようになっていた。
視線トラッキングには,Tobii Technologyの技術をベースにした角膜反射法を利用しているが,その精度にはユーザーごとの個人差が出てくる。この差を埋める補正精度の向上のために,接眼レンズまでの距離とアイトラッキング誤差の相関データを,このプロトタイプで集めたわけである。これにより,どの距離においても,高精度なアイトラッキングが行える補正値の算出が可能になったとのことだ。
このプロトタイプでは,製品版と同じくユーザーの額上部あたりに小型のロータリーモーターが来るようになっている。このモーターの軸には偏心錘が組み込まれており,ゲームの演出に応じてブルブルといった振動をユーザーに与えるのだが,これにより視線トラッキングにどのような影響を与えるのか,といった検証も行っていたそうだ。
この時期には電気的な仕様,機能的な仕様はほぼ固まり,その後は小型化や軽量化に向けた最適化への取り組みへと進んでいったという。
高橋氏:
社内ユーザーテストも積極的に行い,被り心地や被ったときの重量バランスなどのフィードバックを受けて,デザイン面を洗練させていきました。このプロトタイプでは,ユーザーが頭を振っても本体がずれないように,後頭部のクッションパッド部分に柔らかいトゲトゲをあしらっています。ズレの低減には大きく貢献したのですが,髪の毛を掴みすぎてヘアスタイルが崩れるという意見があり,不採用になりました(笑)。
こうした開発プロセスを経て,PS VR2はついに完成へと至る。
なお,下の写真は最終仕様のPS VR2の構造を外から観察できるようにしたスケルトン仕様のプロトタイプである。著しく遮光性が低いため,見映えはいいものの,実用性は低いとのことである。
PS VR2向けコントローラは,どのようにして作られたのか
続いては,VRコントローラの開発についても見ていこう。
開発初期段階の2017年頃は,HMD本体のトラッキング手法が決まっていなかったため,コントローラのトラッキングに関しては,暫定的にPS Moveと同様に,発光する球体をカメラで捉える方式としていた。
最初のプロトタイプではトラッキング方式ではなく,PS VR2のコントローラとして,どんなスティック類やボタン類が必要なのかを検討することにテーマが置かれていたようだ。
実際,このプロトタイプには,扱いきれないほどのボタン類が実装されていた。コントローラを握ったときの中指,薬指,小指にまでボタンがあり,さらに親指の向きを3方向で検出できる光学センサー(フォトダイオード)まで備えていたのだ。
最初のプロトタイプと並行して,コントローラ側のトラッキング手法を検討するためのプロトタイプも開発された。それが次の写真のものだ。
こちらは,インサイドアウト方式のトラッキング技術検討用であり,ボタン類はダミーとなっている。
ボディ全体に搭載されている赤外光LEDを,HMD側に実装したカメラで捉えて,コントローラの位置や向きを算出するわけだ。ただ,このプロトタイプでは,カメラの画角と手首の向きによって赤外光LEDの一部が遮蔽されることがあり,精度が落ちやすいことが分かった。
この特性を改善するために開発されたのが,手の甲を覆うように半円状の構造物を設け,そこにも赤外光LEDを組み付けたプロトタイプである。これは2018年頃に制作したものとのこと。
これにより赤外光LEDが遮蔽される問題を解消し,ある程度の精度で手の向き(≒コントローラの向き)は検出できるようになったものの,今度はユーザーとコントローラの距離感の精度が足りなかったようだ。
高橋氏:
VRコントローラのトラッキングにおいては,コントローラの向きの検出だけでなく,HMD本体からどのくらいの距離にあるのかという,「距離感」の情報を把握することも重要です。この観点から,コントローラ側に組み込んだ赤外光LEDの密度が高いのは,あまり好ましくないことが分かりました。そこで,コントローラを握る手の周りにリング状の構造物を立体的に展開し,赤外光LEDの間隔を広く取るようにしました。
インサイドアウト方式では,二眼の広角カメラで撮影された映像を元にしてトラッキング処理を行うが,そのカメラの解像度はあまり高くはない。低解像度のカメラで撮影すると遠方の情景が曖昧になるように,たとえば,ユーザーが手を伸ばしたときのように,トラッキング用カメラとVRコントローラ上の赤外光LED群の距離が離れると,カメラに映るLEDの映像は,相対的に低解像度となる。コントローラ上に複数の赤外光LEDが密集していると,低解像度の映像では赤外光LED1つ1つの間隔が曖昧となり,三角測量によって算出する距離情報に誤差が出やすくなるのだ。
これを解消するには,赤外光LED間の距離を広くとること(≒コントローラに実装する赤外光LED密度を下げること)だが,そうすると今度は,手首や腕などの位置によってはLEDが遮蔽されやすくなるので,赤外光LEDを見失いやすくなる。
というわけで,「赤外光LEDをリング状に,立体的に実装する」という落とし所になったようだ。こうして2019年頃,リング状に赤外光LEDを実装させたプロトタイプが開発された。
これ以降は,コントローラの装着感や見た目などを考慮し,完成度を高めていくフェーズへと移っていく。
2020年頃に作られたプロトタイプは,製品版に実装された機能をほぼ備えているが,逆に製品版にはない操作系(後述)も確認できる。
高橋氏:
このプロトタイプには,押し込んだときに抵抗感を表現できるアダプティブトリガー機能などを実装しており,かなり製品版に近いものと言えます。アダプティブトリガーは,ゲーム開発者から「絶対入れてくれ」というリクエストが多かった機能でした。立体的な構造を持つアダプティブトリガーをどのようにして,このサイズのコントローラに内蔵させるのか。そういった設計検討などを,このプロトタイプの開発時に行っています。
VRコントローラの開発においても,社内でのユーザーテストやゲーム開発者向けのヒアリングなどを行ったというが,どんな意見を取り入れたのだろうか。
高橋氏:
グリップの太さが議論の対象になりました。ユーザーテストを実践したところ,グリップが太いと長時間握り続けるのがつらいという意見が出てきたのです。製品版では,このプロトタイプよりも握りを細くしています。
また,このプロトタイプには存在しているショルダーボタンは,ユーザーテストやゲーム開発者からの意見によって,製品版では搭載されないことになった。
高橋氏:
VRコントローラにおいてショルダーボタンを押すときには,握り直しが必要となります。そのため,搭載してもあまり使われないだろうという意見が多かったんです。結果として,製品版ではショルダーボタンをなくし,アダプティブトリガー機構対応のトリガーボタンのみとしました。
コントローラの左右エッジに配置されているショルダーボタンとトリガーボタンは,PS5の純正ゲームパッドであるDualSenseが備えている機能だ。VRコントローラにあってもよさそうに思えるが,ゲーム開発者が「使わないかも」と言うのであれば,それに従うのは自然なことだろう。
もうひとつ,このプロトタイプと製品版には大きな違いがある。それは,アナログスティックとボタンの位置関係だ。
コントローラを手に持ったときに,プロトタイプはスティックが身体の内側,ボタンが外側にレイアウトされているのに対し,製品版は逆。ボタンを身体の内側,スティックを外側に配置しているのだ。
これも「コントローラを握ったときの親指の基準姿勢(デフォルト位置)に,よく押すボタン群があったほうがいい」という意見が多かったためである。
こうしてPS VR2は完成した
おそらく,今回の取材で語られたエピソードは,PS VR2の開発プロジェクト全体から見れば,ごく一部なのだろう。だとしても,そのすべてが興味深いものだった。
本稿を読み進めてくれた読者であれば,SIEが公開しているPS VR2本体と専用コントローラの分解動画を視聴してみるといいだろう。すでに見たことがある人も,今ならばより親近感が湧くに違いない。
PS VR2が最新のハードウェアとして,非常にこだわりを持って開発されたことはよく理解できた。発売からまだ半年なので,製品として成功か否かを判断するには早すぎるが,PS VR2のプロジェクトを成功と呼べるのは,多くのユーザーに行き届き,積極的にVRゲームが楽しまれるような未来がやってきた時になるだろう。
現在,PS VR2は家電量販店でもECサイトでも販売されているほど,その供給は落ち着いている。PS VR2対応コンテンツとして注目度が高いのは,「バイオハザード ヴィレッジ」(カプコン)や「グランツーリスモ7」(SIE),「Horizon Call of the Mountain」(SIE)などだろうか。今後のPS VR2の盛り上がりは,ハードの性能を引き出す新作タイトルにかかっている。
昨今ではメタバースがバズワード化していることもあり,VR HMDへの関心は高まっている。しかし,ゲーム専用機を展開している大手プラットフォーマー3社のうち,VR事業に本気で注力しているのはSIEだけである。PS VR2の今後の展開に注目していきたい。
PlayStation公式WebサイトのPSVR2製品情報ページ
- 関連タイトル:
PlayStation VR2本体
- この記事のURL:
キーワード