［SIGGRAPH］NVIDIAとOculus VRの先進的なVR技術を体験。先端技術展示会「Emerging Technologies」レポート前編

E-TECHの展示会場

　SIGGRAPHというイベントには，企業による一般展示会場のほかに，選ばれた大学や企業などの研究機関が，実演デモを交えた展示を行う「Emerging Technologies」という展示会場がある。「E-TECH」の略称で来場者に親しまれているので，本稿もそれにならって記そう。

　さて，そのE-TECHには，毎年，日本の大学や企業が多数出展している。そこで見られる奇抜な新技術のなかには，「一体，どのようにして活用するのか？」と，不思議に思うようなものも珍しくない。そうした面白い展示に出会えることが，E-TECHの楽しいところでもある。すでに報じているロボット型の体感VRシステム「Big Robot Mk.1A」（関連記事）も，そうした展示のひとつといえよう。
　会場にはそのほかにも，面白い展示や発表が多数あったので，3回に分けてレポートしたい。まずは，NVIDIAとOculus VRによるVR関連の展示から見ていこう。

NVIDIAが視線追跡型VR HMD向けの新レンダリング技術を発表

E-TECH会場のNVIDIAブース

　まずはNVIDIAの展示から。
　同社がE-TECHで披露していたのは，「Perceptually-Based Foveated Virtual Reality」（以下，PBF VR）という技術だ。

　現在主流となっている仮想現実（以下，VR）対応型ヘッドマウントディスプレイ（以下，HMD）は，いずれも接眼レンズを片眼あたり1枚使う拡大光学系をベースにしている。NVIDIAはこれまでにも，拡大光学系の特性を考慮して，視界中央の描画は精密に，視界外周の描画は解像度を落として行うという，区画によって異なる解像度で映像をレンダリングする技術を提案してきた。この技術を筆者は，「視界内不均一解像度レンダリング技術」と呼んでいる。

　NVIDIAが最初に提案したのは，Maxwell世代GPUのジオメトリシェーダを活用して実装した「Multi-Resolution Shading」（関連記事）だ。そして，Pascal世代のGPUである「GeForce GTX 1080」の登場に合わせて，その発展系である「Simultaneous Multi-Projection」（関連記事）を発表したのを，覚えている人もいるだろう。

Multi-Resolution Shadingの概念を示したスライド。中央の区画は精密に，周辺の区画は荒くレンダリングする

Simultaneous Multi-Projectionの概念を示したスライド。接眼レンズの歪みに合わせて1眼ごとに4つの投射系を用いる

　今回，NVIDIAが披露したPBF VRは，NVIDIAが取り組んでいるVR HMD向けレンダリング技術のひとつである。ただ，現在はまだ研究段階であるため，特定のGPUが持つ特殊な機能を使う段階にはなく，VR HMDに対応する既存のGeForce GPUなら，どれでも動作するような実装になっているとのことだ。

　PBF VR技術とはなにかを簡単に説明してみよう。この技術の核となるのは，視線追跡技術を活用してユーザーが注視している領域を検出し，その領域を高解像度で描画し，それ以外の領域は低解像度で描画するというアイデアである。Multi-Res ShadingやSimultaneous Multi-Projectionで取り組んでいた，視界内不均一解像度レンダリングに視線追跡技術を組み合わせたものといえるだろう。


　解像度がフルHD＋α程度のディスプレイパネルを使うVR HMD向けに実装する場合，ユーザーが注視している部分は，1×1ピクセルの解像度でライティングやシェーディングを行う。ここは現在のVR HMDと同じだ。一方，視線の周囲は，4分の1の解像度となる2×2ピクセル単位で，さらにその外側は，16分の1となる4×4ピクセル単位でライティングやシェーディングを行う。
　誤解を招かないように補足しておくと，ライティングやシェーディングの解像度を低解像度にしているだけで，描画解像度は，画面全体で変わらず1×1ピクセルである。もう少しかみ砕いて言うと，輪郭線は1×1ピクセルの高解像度で描画するのに対して，テクスチャなどは2×2〜4×4ピクセル単位の低解像度で処理するといったイメージだ。

　さて，単に外周部分を低解像度でレンダリングするだけではアラが目立ってしまうため，違和感が少なくなるように，なんらかのブラーをかけて合成するのが基本だ。しかし，注視部分だけを高解像度にして，それ以外は低解像度でぼけて見えるように映像を作ると，視覚的な違和感が出てしまい，まるで望遠鏡を覗いているように感じられてしまう。簡単にいえば，手抜きのレンダリングがユーザーにばれてしまうのだ。
　この現象を，PBF VRの研究チームは「トンネル視覚効果」と呼んでいる。

PBF VRを体験中の筆者。注視部分以外が低解像度で描画されていることにまったく気が付かなかった

　研究チームは，注視していない部分なのに，ぼけていることがばれてしまう原因を調査した。すると，コントラストの変化に敏感な人間の視覚メカニズムは，ぼけていることに直接気付くのではなく，ぼかしたことによるコントラストの低下に気付いて，それがトンネル視覚効果を生んでいることを突き止めたそうだ。
　そこで，注視部分以外をぼかしながら，明暗差を強調するように輝度情報を先鋭化する処理を組み込んだところ，トンネル視覚効果の低減を確認できたという。こうしてPerceptually-Based，つまり人間の知覚特性にもとづいて，注視部分だけを高解像度でレンダリングする技術が実現できたわけだ。

　ちなみに，「ガウスぼかし」のように演算によって画像を平均化するブラー処理は，色値を周辺に拡散していく仕組みとなっている。そのため，ぼかし前とぼかし後で，色値の合計は基本的に変わらない。ブースにいたNVIDIA担当者によれば，PBF VR技術における「ぼかしながら輝度を鮮鋭化する」処理でも，色値の合計が変わらない点は同様であるとのことだった。

　実際にどう見えるのか，画像にしたサンプルで見ていこう。まずは，視線を考慮せずに画面全体を均一の解像度で描いた，現在一般的な手法によるCG画像を以下に示す。中央に見える赤枠部分に視線があると仮定したものだ。キャプションにあるリンクをクリックすると，実際にWebブラウザ上でこの画像を表示できるようになっているので，試してみてほしい。なお，リンク先の表示には，WebGL対応のWebブラウザが必要である。

http://cwyman.org/research/foveated/00_witcherTower_NoFoveate.html

　次は視線を考慮して，注視部分（赤枠）の外周を低解像度で描画したうえで，それにブラー処理をかけたものだ。これだけでは視線の外側がぼやけているのが目につきやすく，不自然に感じてしまう。

http://cwyman.org/research/foveated/01_witcherTower_Blur.html

　最後の画像が，PBF VRで描画したものとなる。外周部分を低解像度で描画して，ブラー処理でぼかしをかけながらコントラストを維持した結果だ。画像で見るだけでも，不自然さはだいぶ減ったように見えるだろう。
　これを視界を覆うVR HMDの映像として表示すると，ぼかしであることに気がつきにくくなるそうだ。

http://cwyman.org/research/foveated/02_witcherTower_Enhanced.html

デモ機は改造したViveにSMI製の視線追跡デバイスを組み込む

Viveを改造して制作したデモ機

　今回のデモで筆者が使ったVR HMDは，HTC製のVR HMD「Vive」を改造したものである。ただ，会場にはOculus VRの「Rift」を改造したデモ機もあったので，Viveでなければできないわけではない。
　一方，視線追跡デバイスとしては，この分野の専門企業であるSensoMotoric Instruments（以下，SMI）の技術を利用しているとのこと。SMIは，Viveで視線追跡を利用できる開発者向けキットもリリースしており，視線追跡技術のVR HMDにおける活用に向けて，積極的に取り組んでいる。

　今回のデモ機は，VR HMDの接眼レンズ周辺に取り付けた赤外光LEDから，赤外光を両眼の眼球角膜に照射し，瞳孔周辺のどこに赤外光のハイライトがでるかによって，視線を測定している。これは「角膜表面反射法」と呼ばれる，視線追跡では一般的な手法だ。

ちょっと分かりにくいかもしれないが，接眼レンズの外周にある白い米粒のようなものが，視線追跡に使う赤外線LED。レンズ1つあたり6個を取り付けている。ユーザーの目に反射した赤外光は，ユーザーから見て接眼レンズの先に配置したハーフミラーを介して，赤外線センサーに送られる仕組みだ

　画面の描画時には，8xMSAAのアンチエイリアスを適用している。それに加えて，ユーザーが頭部を動かしたときに，注視領域とそれ以外の境界付近でピクセルが波打つ現象――「Pixel Shimmer」や「Pixel Crawling」と呼ばれる――が起きるのを抑制するために，前後のフレームを参照して補正する，時間方向のアンチエイリアスも行っているそうだ。
　ちなみに，ここで利用している時間方向のアンチエイリアス手法は，Epic GamesのBrian Karis氏が開発して，「Unreal Engine 4」にも採用された手法であるという（関連リンク）。

　NVIDIAの担当者は，「現在は，注視部分以外を2×2〜4×4ピクセル単位で描画している。しかし今後は，4Kや8K，あるいはそれ以上の解像度を備えるディスプレイパネルがVR HMDに採用されることを考慮して，外周にいくにしたがって，8×8や16×16ピクセル単位くらいまで解像度を落とすという実装になるかもしれない」と述べていた。
　将来のVR HMDでは，こうした視線追跡技術を使った映像描画が主流になるかもしれない。

Oculus VRは触感デバイス「HapticWave」を出展

E-TECH会場のOculus VRブース

　SIGGRAPH 2016の取材中に，筆者がとあるVR HMDの開発者と話をしていたところ，彼は筆者に対して，VR HMDに対して抱える不満を訴えてきた。
　「VR HMDの表示解像度は，ディスプレイパネルの進化が期待できるので，それほど悲観していない。むしろ，VRが直面するであろう直近の問題は，映像体験としての没入感はすごいのに，仮想世界にあるものに触れられないもどかしさがあることだ」と，彼は言うのである。
　同じような問題意識を，VRブームの立役者であるOculus VRも持っていたのだろうか。同社がE-TECHで披露していたのは，新しい触感デバイスだった。

　「HapticWave」と呼ばれるそのデバイスは，直径30cm前後くらいの円盤型をしたデバイスで，片手を円盤上に置いて使うものだ。
　筆者も体験したが，VR体験としては，VR HMDに表示されたバーチャルな机の上を火花が走ったり，ボールが弾んだりするのを眺めるだけという単純なもの。ところが，HapticWave上の手に，ボールの弾んだ衝撃や火花のバチバチとした動きが振動として伝わってくるのである。しかも，振動の発生地点が視界外で見えなくても，振動がどこで発生したのかが把握できるのだ。
　VR世界で何かに触れたときに，HapticWaveで手に振動を与えることで，バーチャルな触感を再現することができるという。

DJゴッコをする来場者……ではなく，HapticWaveを体験しているところ

写真ではまったく分からないが，円盤に置いた手で振動を感じることで，VR空間の物体による動きを感じることができる

　HapticWaveの仕組みは，実にシンプル。円状に並べられた16個のリニアモーター振動子（アクチュエーター）をステレンス製の上面プレートと，円環状のゴムやステンレス製フレーム，そしてステンレス製の底面ベースプレートで挟み込んでいるだけだ。16個の振動子をどう駆動するかによって，刺激の方向や距離を再現できるという仕組みである。

HapticWaveの中身。左に並んだ小さな円筒状の物体が，リニアモーター振動子である

Ravish Mehra氏（Research Scientist，Oculus VR）

　体験した何人もの来場者が，開発を担当したRavish Mehra氏に対して，「振動子はスピーカーか？」とか「超音波発生装置なのか？」といった質問を浴びせる。だが，氏の答えはそのいずれでもなく，「直接的な振動を生成する装置である」とだけ説明していた。全貌が明らかになるのは，もう少し先の話になりそうだ。

　装置の機能や大きさを考えると，HapticWaveをVR向けのゲームコントローラとして訴求していくのは無理があるだろう。Oculus VRも，それは百も承知だ。「VR系アミューズメント施設の筐体に組み込むとか，施設の床にもっと大型化した装置を組み込むことで，巨大な物体が移動する表現に使えるだろう」と，Oculus VRの説明員は話していた。

　東京・お台場の東京ジョイポリスでサービスを開始したZero LatencyのVRアトラクション「ZOMBIE SURVIVAL」のように，大きな空間で複数の参加者が同時体験できるコンテンツで，床にこの仕組みが組み込まれていたら，なかなか楽しそうだ。
　たとえば，巨大な恐竜を撃破するために仲間と共闘するようなモンスターハンター系のVRコンテンツで，仮想空間内を歩き回る恐竜が「ドシンドシン」と音を立てると，その衝撃が方角と距離感をともなって再現される，これが実現したら，相当な迫力を感じられるのではないか。

　「VRと触感」をテーマにした研究発表は，これ以外にもいくつかE-TECHで展示されていたので，次回以降で紹介したい。

SIGGRAPH 2016 Emerging Technologies（英語）

4GamerのSIGGRAPH 2016レポート記事一覧