［CEDEC 2012］現実を編集する技術が，ゲームに新たな進化をもたらす。「Substitutional Reality」が紹介されたセッションをレポート

　CEDEC 2012では，ゲーム開発者のほかにも，ゲームと関連する分野の専門家によるセッションが行われた。理化学研究所 脳科学総合研究センター 適応知性研究チーム チームリーダーの藤井直敬氏による「Substitutional Reality Systemという新しい体験プラットフォーム」というセッションもその1つだ。

　VR（仮想現実）やAR（拡張現実）といった言葉はすでに一般に浸透しており，とくにARは，ニンテンドー3DSやPlayStation Vitaなどの携帯ゲーム機やスマートフォン向けアプリなどで身近な存在になったといえるだろう。
　仮想上のものを現実に近づけようとするVRやARに対して，藤井氏が掲げる「Substitutional Reality」（代替現実，以下 SR）の技術は，「現実から仮想へのスムーズな移行」を目指しているそうだ。今後，ゲームへの応用も考えられるこの最新技術について紹介していこう。

再現可能な“現実”を作るための研究

藤井直敬氏

　一般に，VRやARのような映像表現の研究というと，情報工学などの分野をイメージしそうだが，藤井氏の専門分野は脳科学である。以前はそれこそ，猿の脳に電極を刺すような実験を行っていたそうで，藤井氏自身の言葉を借りれば「ハードコアな」研究者だったそうだ。
　その当時，藤井氏が率いていたチームの研究トピックとなっていたのは，「環境文脈」（誰と一緒にいるか，どこにいるかといった条件）が人々の行動にどのような影響を与えているかを探る，というものだった。その研究を行うには，実験の被験者に対して，まったく同じ社会的条件を体験してもらう必要があるのだが，「まったく同じ体験を再現する」というのは，現実的には不可能に近い。
　そこで藤井氏は「再現可能な“現実”を作りたい」という動機から，VRなどの研究を進めていったそうだ。

藤井氏は当初，被験者の周囲にCGを映し出したり，ヘッドマウントディスプレイを使用したり，AR技術を用いたり，といった手法を検討していたという

　藤井氏はさまざまな方法を検討した結果，モーションキャプチャによってリアルタイムに全身を操作できるCGアバターを導入した。その結果，たしかにアバターが人間と同じ動きをするような環境は整えられたのだが，残念ながらCGが相手ではリアリティを感じることができなかったという。アバターのCGのクオリティや表示の遅延などを改善すればリアリティが増するのでは？ とも思えたが，やはり向上はみられなかった。
　その理由として藤井氏が指摘するのは，これまでのVRやARは，「現実と断絶したところから始ま」っているという点だ。現実から断絶した表現をリアルに見せるのは，非常に難しいのである。

視覚と聴覚をハックして現実感を失わせる実験

　モーションキャプチャを用いた研究が暗礁に乗り上げたところで，新たな研究のきっかけとなったのが，パノラマカメラの導入だ。これにより，SRの体験が可能になったという。
　では，SR技術とは一体どのようなものなのか。まずは実験のセットアップ図を見てみよう。

パノラマカメラを使用すると，360度の視野で映像を録画できる

　実験を行うには，あらかじめ部屋の中にパノラマカメラをセットし，360度の視界で映像を撮影しておく。そして実験の本番では，被験者にヘッドマウントディスプレイ（HMD）を装着させて，先ほどパノラマカメラをセットしていたのと同じ目線の位置に座らせる。なお，HMDの前方にはカメラが付いており，このカメラで捉えた映像が被験者の視界に映し出されるという仕組みだ。
　実は，このHMDにはモーションセンサーも搭載されているため，パノラマカメラで撮影した「過去の映像」を，被験者の頭の動きに合わせて自然に映し出すことも可能である。実験では，「ライブ映像」と「過去の映像」，これら2種類の映像をシームレスに切り替えながら被験者の視界に映し出していくのだ。

　技術的にはそこほど複雑なことをしているわけではなく，似たようなセットアップによる研究の例もすでに存在する。ただ過去の例においては，被験者とカメラの位置を別々の場所に置くことで，「距離」を越えようとしていた。一方，藤井氏の研究では，被験者とカメラを同じ位置に置くことで，「時間」を越えようとしているのだ。


　実験の具体的な実験の流れは，以下の通りだ。

まずは研究者が，被験者を実験室の中へ案内する。この様子をパノラマカメラが記録しているのが大事なポイントだ

先ほどまでパノラマカメラがあった位置に，HMDを装着した被験者を座らせる。研究者が「装置はどうですか？」と話しかけるが，実はここで被験者に見えているのは過去に撮影された研究者の映像。つまり，端から見ると，被験者は何もない場所に向かって「大丈夫です」と答えているのだ

ここで，被験者自身が部屋に入ってきたときの映像を映し出す。被験者は，目の前に立っているのが過去の自分だとはなかなか気付かないそうだ

そこに研究者が現れて，「過去のシーンを流しました」とネタばらし。……と思いきや，実はこの研究者の姿も過去の映像である

ここでようやく本物のライブ映像に切り替わり，研究者が「今のも過去のシーンでした」と述べる。ところが，ここまで何重にも騙されてきたために，被験者は完全に混乱してしまう

被験者は実験を終えてHMDを外しても，しばらくの間，自分が見ているものが現実なのかどうか自信を持てない。そのため，こんな頼りなげな表情で「これ，現実ですか？」と尋ねてくるそうだ

　藤井氏は，この実験を研究室の内部で約20名，プレス関係者で20から30名ほどを対象に行ったが，被験者は全員騙されたそうだ。ゲーム関係者では，キューエンタテインメントの水口哲也氏が藤井氏の研究室を訪れたことがあるそうだが，藤井氏によると「水口さんは素直な方で，綺麗に騙されていました」という。

　このシステムには，（パノラマカメラの仕様上）足元の映像を撮影できず，また過去映像には被験者の体が映り込まないという弱点もある。そのため，実験の前には「手は膝の上に置いて，あまり下は見ないでください」と注意しておくそうだ。

　だが，この弱点から生まれた意外な実験結果もある。藤井氏は「現実とは，私たちの脳が作っている」として，SRの実験中に被験者がたまたま手を挙げてしまったときのエピソードを紹介した。
　視界に入るはずの自分の手が見えなかったら，普通は疑問に思うはず。ところが，実験後に被験者に話をきいてみると「言われてみればそうかもしれないけど，自分の手は視界の外にあるものだと思っていた」と話したそうだ。つまり，「自分の手が見えない」というつじつまを合わせるために，脳が嘘をついたのである。
　藤井氏は，脳が信じるような“おはなし”を，SRシステムを通して与えることで，多少の齟齬があっても脳が“補正”して納得してくれると説明した。

最初は既製品のHMDを改造して実験を行っていたが，より実験に適したハードウェアとして「エイリアンヘッド」を製作。アイトラッキング（視線計測）の装置も搭載している

　藤井氏は，SR技術が可能にしたのは「現実と地続きな仮想」だと述べる。また，これは言い換えれば「視覚と聴覚をHackする技術」でもあるのだ。

「Blended Reality」という新たな試みも

　また，藤井氏はSRを進めた新たな試みである「Blended Reality」の研究も進めているそうだ。

　ここで紹介されたのは，今年5月に行われた，さまざまなジャンルのプレゼンテーションが行われるイベント「TED@Tokyo」において藤井氏が実演したときの映像である。藤井氏は，講演前に自身がステージに立っている姿をあらかじめ撮影しており，講演の本番中に，リアルタイムの自身の姿と合成してみせた。この映像では，ステージのライティングの関係から，ひと目で合成だとわかるような結果になってしまっているが，実際にはもっと自然な合成が可能だという。

2人の姿が重なっているが，後ろに立っているのが事前に撮影された藤井氏の姿。そして，白飛びしてしまっている方がリアルタイムで講演している藤井氏の姿だ

空間の半分ずつを合成させるような実験も行われており，この映像では画面の片方に映ったダンサーの動きを真似して，もう一方のダンサーが踊っている。見ているだけではどちらが過去でどちらがリアルタイムなのか，区別がつかない

　こういったBlended Realityの研究により，「これからのコンテンツは視聴の時代から体験の時代へ移るのでは」と藤井氏は述べる。
　前述したSRの実験からもわかるように，人々は普段の生活から得られた“信じる力”で現実を見る。そして，SR技術を使えば，そういった現実に編集が加えられるのだ。
　藤井氏は最後に，コンテンツやアーカイブの将来の形として，「ビデオをYouTubeにアップロードして楽しんでいるように，いろいろな経験をパノラマの形で録っておけば，その経験をみんなで共有できる」と述べ，今回のセッションを締めくくった。

　こういったパノラマカメラやHMDを用いたSRの技術に対しては，目新しさを感じる一方で，本当にゲームへ応用されていくのか，疑問に思う人もいるだろう。しかし，現行のゲーム機にはカメラやモーションセンサーなど，数多くのセンサー類が搭載されており，今後のゲームの進化の方向性として，SR的なものへと近付いていく可能性は十分ある。
　HMDなどのハードウェアが一般家庭に普及するまでにはまだまだ時間がかかりそうだが，たとえばアーケードゲームなどであれば，SR的な仕掛けをもったハードウェアとソフトが実現できそうにも思える。我々がSRを通してゲームや映像などのコンテンツを楽しめるようになる日々も，意外に近いのではないだろうか。