つぶやく
2015/08/14 00:00イベント
［SIGGRAPH 2015］NVIDIA＆スタンフォード大の新型VR HMDを体験。ライトフィールドによる現実的な遠近感に驚き
 |
 |
 |
過去に発表されたHMDについては，それぞれのレポート記事を参照してほしいが，これらHMDの開発におけるキーマンとなっていたのが，NVIDIAの研究開発部門に所属していたDouglas Lanman氏であった。ところが，SIGGRAPH 2014のあとに同氏は，Oculus VRに電撃移籍してしまう。そのため，NVIDIAのHMD開発が今後どうなるのかと心配する声もあったのだが，どうやらそれは杞憂だったようだ。今年のSIGGRAPH 2015では，NVIDIAとスタンフォード大学との共同研究による，新しいHMD技術が発表されている。
今回発表されたのは，Lanman氏が中心になって開発したNE-LFDを，さらに洗練させて現実的な技術に落とし込んだ「The Light-Field Stereoscope」（以下，LFS-HMD）というものである（関連リンク）。
Lanman氏がNVIDIAを離れたあと，一体誰が開発の中心にいるのかと，スタンフォード大学の展示ブースにいた研究メンバーに質問したところ，意外な答えが返ってきた。Lanman氏は，NVIDIAを離れてOculus VRに移ったものの，彼の人脈によって研究開発は滞りなく続けられているのだそうだ。
元々Lanman氏は，NVIDIAの前にマサチューセッツ工科大学の「MIT Media Lab」に在籍しており，その頃に共同でライトフィールド再構築技術を研究していたGordon Wetzstein氏が，今ではスタンフォード大学にいるのだという。今回発表されたLFS-HMDは，このWetzstein氏らとNVIDIAの研究開発部との共同研究により開発されたもので，その根幹となっている技術自体が，MIT Media Lab時代にLanman氏とWetzstein氏が共同研究していた「Tensor Displays」というわけだ。
そんな話をブースでしていたところ，ブースの中から当のLanman氏が現れて，筆者に「やあ」と声をかけてきた。Oculus VRに移った今でも，ライトフィールド(とHMD)分野の研究者同士で交流は続いているようである。そういうわけで，とりあえず，NVIDIAによるHMD研究は今後も続けられるようだ。
現状のHMDや3Dテレビの抱える問題点とは？
LFS-HMDの話に戻そう。LFS-HMDは，Oculus VRの「Rift」やソニー・コンピュータエンタテインメントの「Project Morpheus」とは異なり，「ライトフィールド」を再現する仮想現実（以下，VR）対応型HMDである。
ライトフィールドとは何かを簡単に説明すると，視野の範囲にあるすべての光であり，ライトフィールドを再現するというのは，目に入るあらゆる光を再現するということだ。
このライトフィールドを使ったLFS-HMDでは，木の前に人が立っている情景を表示した場合，目の焦点を人に合わせれば，人がくっきりと見えて背景の木はぼやけ，背後の木に焦点を合わせれば，前にいる人がぼやけて見える。既存の立体視技術のような視差による遠近感だけでなく，焦点距離の調整でも遠近感を感じられるのが，LFS-HMDの特徴といえよう。
少し話がそれるが，なぜHMDでライトフィールドを再現するのが重要なのか，その理屈を説明しておこう。
長年の立体視研究における知見に，視差と目の焦点距離（＝眼球にある水晶体の調整），そして両目の視線が交差する角度である「輻輳角」の関係が，現実世界における視覚体験と大きく異なる場合，人は不快に感じたり酔ったりするというものがある。だが，現在のHMDや立体視対応テレビなどで表現されている立体感は，主に視差によって作り出されており，焦点距離の調整という概念はまったく無視されているのだ。3DテレビやHMDでも，視線を向ける対象（オブジェクト）の位置に応じて，輻輳角は変化する。しかし，画面を見つめる目の焦点距離は常に一定なので，現実世界における目の動きとは乖離してしまう。下に不自然さの理由を説明した図を掲載しておこう。
 オブジェクトが表示面より手前にあるときの不自然さ |
 オブジェクトが表示面より奥にあるときの不自然さ |
 オブジェクトの位置と焦点距離の差から生じる不自然さ |
この問題を低減させるために，ライトフィールドを再現した立体視が適している，というのがNVIDIAの主張であるわけだ。
LFS-HMDの仕組みをなるべく分かりやすく解説
NVIDIAとスタンフォード大学が発表したLFS-HMDは，下に掲載したイラストにあるとおり，わずかな隙間を開けて2枚の液晶パネルを重ね合わせた構造をしている。
 |
 |
この図を見て，「2枚の液晶パネルに遠近の映像を描き分けているのか？」と思った人がいるかもしれないが，ハズレだ。話はそう単純なものではない。
話を分かりやすくするために，まずライトフィールドカメラというものから説明してみよう。
ライトフィールドカメラとは，画素サイズに近い直径を持つ凸レンズを並べた「マイクロレンズアレイ」を貼り合わせた撮像素子――CMOSセンサーやCCDセンサー――で撮影するデジタルカメラのことだ。SIGGRAPH 2014レポートで，GPGPU技術を採用したLytro製ライトフィールドカメラ「LYTRO ILLUM」（関連記事）を取り上げたことがあるので，覚えている人もいるかもしれない。
このカメラでは，情景を異なる焦点距離（≒視線）で同時に撮影して，撮影された画素を2D平面に広がるピクセルに振り分けて記録する仕組みとなっている。そのため，撮像素子から出力された画像は，まるで昆虫の複眼で見たようなものになるのだ。
 |
 |
このような画像になるのは，1枚の液晶パネルでライトフィールドの画像を表示しているからだが，これを2枚の液晶パネルに振り分けて画素を表示しよう，というのがLFS-HMDの基本的な考えだ。
人間の目――正確には網膜上の視覚細胞――を起点として，放射状に放たれる視線（レイ）をまずイメージしてほしい。その視線が，前側と奥側の液晶パネルと交差したところのピクセルに，描画したいオブジェクトの色を描く。これがLFS-HMDの基本概念だ。
 |
ここまでの説明だけで，実際のLFS-HMDでどう表示されているのかをイメージできる人は少ないと思うので，公開された画像やムービーを使って，できるだけ分かりやすくなるように説明していこう。
下に掲載した2枚の写真は，前面側液晶パネル（Front LCD）と背面側液晶パネル（Rear LCD）に表示された映像を静止画にしたものである。左右に分割されているのは，右目と左目用に映像も分割されているためだ。
 |
 |
そして，この映像を実際にLFS-HMDで見ると，下に掲載した写真のように見える。上の写真（Front focus）は手前の花に，下の写真（Rear focus）は奥の建物にフォーカス（ピント）が当たっているのが分かるだろう。
 |
 |
 |
 |
今回発表されたLFS-HMDは，1280×800ドットの液晶パネルを前側と後側で2枚使っている。これを普通のVR HMDと同じく，左右の目で半分ずつに分けて使うので，一眼あたりの解像度は640×800ドットになるわけだ。
そして，ここがライトフィールドのポイントなのだが，左右の目それぞれから放射状に放たれる視線の数は，水平5本×垂直5本で，計25本となる。これは，1つの画素を表現するのに，5×5で25段階のライトフィールドを使っていることを意味する。
これを液晶パネルで表示するとどうなるのかというと，1画素が5×5で構成されるので，視線1つあたりの解像度は水平が640÷5＝128，垂直は800÷5＝160となり，液晶パネル1枚で128×160ドットになる。それを前後の2枚で表示するので，256×320ドット程度（※前後で重なるので，きれいに2倍にはならない）の映像を左右それぞれの目で見ていることになるというわけだ。
ずいぶん解像度が低いと思うかもしれないが，ライトフィールドの段階が増えれば増えるほど，1つの画素を表現するのに必要なピクセル（ドット）数は増えてしまうので，これは原理的に仕方ない。
LFS-HMDの原理を解説した動画を以下に掲載しておこう。これを見れば，おおむねどんな感じで見えるのかは理解できるのではないだろうか。
また，先ほど名前が挙がったDouglas Lanman氏とGordon Wetzstein氏らが，MIT Media Lab時代にSIGGRAPH 2012で発表した「Tensor Displays」という立体視技術の解説動画も合わせて掲載しておこう。これはLFS-HMDといえる技術である。
さて，上で掲載した「LFS-HMDではこう見える」という写真を見て，奥側の液晶パネルに表示された映像が，色の濃淡だけを強調したような画像になっていることを不思議に思った人はいるだろうか。LFS-HMDでは，前側と奥側の液晶パネルに表示する映像が，明確に異なっているのだ。
2枚の液晶パネルを重ねるというLFS-HMDの構造では，手前側液晶パネルのピクセルが奥側液晶パネルのピクセルを遮蔽してしまい，本来光らせるべき色を正しく表現できない可能性がある。それをどのように回避しているのかと，説明員にたずねたところ，視線上にある各液晶パネルのピクセル――正確にはRGBのサブピクセル――は，乗算で合成されるため，ここで一工夫を加えて表現するのだという。
たとえば，視線上のサブピクセルを輝度「0.4」で光らせたいとき，前側液晶パネルを輝度「1.0」で，奥側のピクセルを輝度「0.4」で光らせればいい（1.0
こうしてLFS-HMDでは，輝度の組み合わせを工夫することによって，遮蔽による色の誤差を低減させているというわけだ。
 |
LFS-HMDを体験
遠近感の表現は謳い文句どおりの素晴らしさ
 |
実際に，筆者もLFS-HMDを体験してみたのだが，数体のCGキャラクターが静止状態で表示されるだけのシンプルなデモであるにも関わらず，フレームレートは15〜20fps程度しかなかった。デモ用PCは，GPUに「GeForce GTX 970」を使用していたということなので，描画負荷はかなり高いといえよう。
 |
 |
 |
見た目の解像度は，理論値の256×320ドットか，それよりもやや高いくらいに見えた。視野角はOculus VRのRiftと同じくらいに感じたので，水平方向で100度くらいはありそうだ。ちなみに，2013年に体験したNE-LFDは，解像度が146×78ドット，視野角は水平30度くらいだったから，それと比べればかなりの向上とはいえる。
担当者によれば，接眼レンズによって焦点距離も拡大されるため，表現可能な設計上の遠近は，近接側で眼前から25cm，最大遠方側で眼前から150cm程度の範囲になるという。
最大の魅力である遠近感の表現は，まさにデモ映像のとおり。近景に焦点を合わせると遠景がぼけ，遠景に合わせれば近景がぼける。手前に何かが飛び出しているような表現は，視差だけによる飛び出し感よりも大幅に迫力があって楽しめた。視差による立体感だけでなく，焦点距離の変化でも立体感を感じられるのは，ちょっと感動的なほどだ。
ライトフィールドが25段階と聞いていたので，遠近が段階的に切り替わってスムーズさに欠ける表現になっていないかどうかには注目していたのだが，まったく気にならず，現実の視野と同じように，滑らかに遠近が変化するように感じられた。焦点距離的には25段階の離散表現であっても，視差の変化は連続的な表現になっているため，これがスムーズな立体感や飛び出し感を実現するのに一役買っていたのかもしれない。
 |
さて，このLFS-HMDは，今後どのように発展していくのだろうか。ブースの担当者に聞いてみたところ，次なるステップは「Lytroのようなライトフィールドカメラで撮影した，ライトフィールド写真や動画のHMD表示だ」と力強く語っていた。これが実現されると，撮影から表示まで一貫したライトフィールド映像が実現できるわけで，今まで見たことがない面白そうなコンテンツが実現できるだろう。
LFS-HMD自体の進化，とくに解像度の向上などが気になるところだが，高解像度の液晶パネルを使ったり，液晶パネルの枚数を増やしたりすればいいというような，単純なものではないそうだ。
まず，単純に解像度を上げると，画素開口率が下がることになる。開口率が下がると，光が液晶画素の隙間を通るときの回折量が強くなるので，理想的な光路や光量で光が進まなくなるのだという。液晶パネルの枚数を増やすのも同様で，ボケ味が増してしまうそうだ。
また，レイトレーシングによるレンダリングは，現状のハイエンドGPUでも負荷が高いという問題がある。たとえば，Rift用のVRゲームをライトフィールド対応として楽しめるかというと，現状ではかなり難しいと言わざるを得ない。
とはいえ，SIGGRAPHで毎年見続けてきた筆者からすると，NVIDIAが開発する新しい発想のHMDは年を追うごとに，その品質を高めているなと感じている。製品化も現実的になり始めているようなので，今後の進化にも期待してしまう。2016年あたりで，これらを使ったVRゲームを実際にプレイできるようになればと，願ってやまない。
The Light-Field Stereoscopeの解説ページ（英語）
- この記事のURL：
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
新着連載
新着レビュー
新着インタビュー
