ゲームの未来が触覚技術の視点で語られたTGSフォーラムのレポート。身体感覚のデザインで，VRの没入感はさらにアップする

　VRが単に「ヘッドマウントディスプレイ（HMD）を使って映像を見せている」だけではもはや話題にもならなくなった昨今，体験者の没入感を高める技術は急速に進歩している。
　東京ゲームショウ2017のビジネスデイに開催されたTGSフォーラムでは，慶應義塾大学大学院メディアデザイン研究科の南澤孝太准教授による「触覚で進化するゲーム体験」と題したセッションが行われ，触覚を体験させる技術の今が語られた。本稿でその模様をレポートしよう。

50年前の予測が示す，「触覚」の意義

　南澤氏がまず示したのは，2015年に開発された「Synesthesia Suit」だ。これは「Rez Infinite」（PC / PS4）用のスーツで，BGMに合わせた振動を体全体で感じながら同作をプレイできるというもの（関連記事）。これを着用してRez Infiniteをプレイした人は，一様に「これまでにない体験をした」という感想を持つという。
　南澤氏は「Synesthesia SuitとRez Infiniteのコラボにおいては，いわゆるVRを越えた没入感，ゲーム世界との一体感が得られることが分かってきた」と語った。

慶應義塾大学大学院 メディアデザイン研究科 准教授 南澤孝太氏

　さて「ゲーム世界との一体感を得る」ところまで進んだVRだが，その歴史を遡ると，実用的な個人向けコンピュータの普及よりも前から始まっていることが分かる。
　世界で最初にVR HMDが生まれたのは1968年。アメリカの計算機科学者であるIvan Sutherland氏が「The Sword of Damocles」というHMDの元祖を作り上げたことに端を発する。この時代，まだCGという概念はなく，もちろんHMDという概念もまだなかったが，Sutherland氏は独自にステレオ映像（立体視）かつ機械的なヘッドトラッキングを行うHMDを作ることに成功したのである。The Sword of Damoclesは非常に簡単な線画しか表示できなかったが，その描画は現実空間にオーバーラップする形で表示されていた。つまりARだ。

　この先駆的な装置を作ったSutherland氏は，「今は線画だが，やがてはリアルな映像を表示できるようになる」「この装置を通じて3次元的な空間の中に入り込める」「インターフェースも，何かを動かしたり，会話で指示したりといった直感的なものになる」「こうして作られる世界は，現実世界では不可能な物理法則も実現できるワンダーランドとなる」といった予測を示している。
　その正確さには驚くしかないのだが，Sutherland氏はここでもうひとつ，重要な示唆をしている。彼が思い描くものが完成するためには，「力覚や触覚も重要になる」ということだ。


　これを踏まえて南澤氏が提唱するのが「Beyond VR」。今のVRがカバーできていない領域を補完する技術である。
　例えば現時点のVRでは，スポーツをする（走り回る，飛び回る）のは決して容易ではないし，人と人の実際のつながりを再現する（ハグする，握手する，触れ合う）のも難しい。
　これに対し，人の身体的経験を記録・共有・拡張・創造するメディアを構築し，身体性の拡張によって新しい体験をもたらそうというのが南澤氏の指針だという。

触覚がデザインできるツールが完成するまで

　Beyond VRのなかでも，南澤氏が注目するのが「触覚」だという。というのも，人間は映像を見ただけでは，そこに何かがあると信じられないからだ。「見えている」ものに対して，「手で触れる」ことができないと，人間はその映像を「幻」と認識してしまうのである。人は，ものを握りしめ，持ち運び，投げつけるといった一連の動作を通じ，「そこに物がある」と確信するというわけだ。
　南澤氏はこういった「確からしさ（ビリーバビリティ）」を作り出すために，ハプティクス（触覚技術）が利用できると語る。

　だがハプティクスの進歩は，決して平坦な道ではなかった。
　例えばフォースフィードバックによって「そこに物体がある」ように感じさせる機械「Haptic Telexistence」が2006年に作られたが，南澤氏いわく「5分くらい使うとどこか壊れて，3時間くらいメンテナンス必要」という，なかなかの難物だったという。同じ年にWiiが発売されており，体を動かす体験の普及も予想されてはいたが，そんな完成度では普及は望むべくもなかった。


　かくして南澤氏は「シンプルな触覚技術を作ろう」と，まったく別のアプローチで触覚の再現に挑戦する。

　その最初の成功例が，2007年の「Gravity Grabber」だった。
　これは中に何も入っていない箱を持ったとき，あたかもその中にボールが入っているような感覚を持たせられるガジェットだ。これは2009年のTGSで発表され，大人から子供まで多くの人に楽しんでもらえたという。

　だが南澤氏は「Gravity Grabber」にはまだ問題があると考えた。
　まず，装置を使うために専門のアシスタントが必要となること。そして何より，「Gravity Grabber」というコンテンツを体験してもらうことしかできないということだ。
　南澤氏は，ただ「面白いもの」として体験できるだけでなく，それに触れた人が自分自身で創意工夫して何かを作り出せる，一種のツールが必要だと考えたのである。


　かくして2011年，「TECHTILE toolkit」が発表される。
　これは対象となる物体を限定せずに触覚を再現できるもので，例えば「カップの中に何かが入っているような感じ」「ラケットで球を弾いているような感じ」といったものを再現できる。つまり，「何を使って」「どのような触覚を伝達するか」を，誰もが簡単に「デザイン」できるツールが完成したというわけだ。

視覚，音，そして触覚

　さて，この不思議な「TECHTILE toolkit」だが，これを支える技術は意外なものになっている。

　南澤氏は，「触覚を示す言葉は，『つるつる』『さらさら』『ドロドロ』など，擬音で表現される」と指摘。実際，我々が何か物体の上に指先を走らせると，物体と指との間で振動が発生し，それが音となっている。そして南澤氏によると「その振動をマイクで取って，アンプで拡大し，離れた物体に伝えることで，触覚が伝わる」というのだ。
　つまり，簡単に言えば「触覚は音として伝えられる」（ただし帯域は異なるのでシフトしてやる必要はある）のであり，触覚のデザインは音のデザインと同じ，波形をデザインするという形で行えることになる。


　この考えに基づいた実験は既にかなり進んでおり，テレビ放送のオーディオチャンネルやスマートフォンを利用して触感を伝送する実験が行われている。また伝送だけでなく，指先に小型のガジェットを着用することで，触覚を「録音」することも可能となっている。


　南澤氏によると，触覚伝送技術は，映像伝送技術と類似した構図で理解できるという。
　映像の場合，カメラが受け取った画像はCCDやCMOSの素子でRGBに分解されたのち，数値データとして伝送され，再びディスプレイの上で再現される。なぜ画像をRGBに分解するかといえば，人間の目には明るさを認識する細胞と，赤・青・緑を認識する細胞があるからだ。


　触覚についても，視覚とかなり近いことが言える。
　現代においては，解剖学・生理学・心理学といった領域において，触覚の研究はかなり進んでいる。例えば指の中にはマイスナー小体やバチニ小体というものがあり，これらは衝突感を司っている。押された感じやエッジ感はメルケル細胞や筋紡錘が司り，温かい・冷たいといった情報は自由神経終末が司る。そしてこういったセンサーからの情報が統合されて，「触覚」になっているというわけだ。


　現状において，触覚伝送に最もよく利用されているのは振動（バイブレーション）だ。しかしここには「力」と「温度」が足りない」ため，「いわばモノクロ映像」であると南澤氏は語り，力や温度まで扱えば，触覚を“フルカラー化”できるとした。

　そして温度についてはかなり効果的な伝送手段が発見されている。「一般に人間は顔だけが露出しているため，顔で温度を感じている」（南澤氏）ため，雨のような天候変化であったり，寒い・熱いといった気温は顔に情報を与えてやると効果が高いというのである。

　実際の方法としては，HMDに温度のアクチュエーターを装着するという形の実験が行われている。これによって雨の冷たさや，焚き火の暖かさといった表現が可能になっているという。また指先に温度を感じさせる装置を使えば，ゲームにおいて「炎の魔法」「氷の魔法」を使ったときに熱さや冷たさを感じさせる演出も可能となる。
　このように温度・力・触覚が統合されていくと，「触れた」ものから材質感もちゃんと感じられるようになり，体験のリアリティをさらに高めることができると南澤氏は語った。


　このように，一部の感覚についてはほぼ問題なく「商品」として開発・実装できる状態にある触覚伝送技術だが，南澤氏はこれを踏まえ，触覚も規格としてメディアの内部に入れられるようにする計画を示した。これが実現すれば，触覚伝送が社会実装されるための大きな一歩となるだろう。

触覚の伝送による新たな領域の開拓

　さて，ここで話は再びSynesthesia Suitに戻った。
　Synesthesia Suitは，「コンセプトカーに相当する，未来を示すコンセプト・エクスペリエンス」であると南澤氏は語る。

　Synesthesia Suitは，リアルな触感を出せるモジュールを身体のあちこちに装着するもの。言うまでもなく細かな調整も可能で，振動を均一に出すのではなく，ライブハウスの地響きのように下から出す，といったことも可能だ。同様に，「敵に撃たれたら，その感覚がお腹から広がっていく」「自分がエネルギーを出したときは身体の中から指先へ伝わるように出ていく」といった演出も行われているという。


　だが，当然ながら完成までには苦労も多かったという。なにしろRez Infiniteのデザイナーである水口哲也氏ですら，「触感をデザインする」経験やノウハウは有していなかったからだ。

　結果，現場では「もっとグインと」「もっとポヨンと」といった指示が交錯することになったという。なるほど実に曖昧な表現ではあるが，そうとしか言いようがないというのも容易に想像できる。
　しかしながら，そういった曖昧なやりとりで始まったコラボレーションも，回数を繰り返すことでだんだん共通言語ができあがっていったという。最終的には「波形を見ながら調整ができるようになったし，クリエイターも波形のデザインを語るようになった」「技術者も波形から体験にあたりがつけられるようになった」そうだ。

　こうして完成したRez InfiniteとSynesthesia Suitのコラボレーションは，想像以上の効果を生んだ。
　プレイヤーの多くは，体験後に放心状態になっていたという。皮膚感覚までもがゲーム世界に入り込んでしまい，現実世界に自分がいることを忘れてしまうのだ。「全身から非常にたくさんの振動が伝えられるため，相対的に足の裏で地面を踏みしめているという感覚が薄れる」と南澤氏は指摘する。
　このため，スタッフはコラボの体験者に対して，体験終了後に「おかえりなさい」と声をかけるようにしていたそうだ。


　このように「現実世界に自分がいることを忘れてしまう」感覚，あるいは「身体感覚をオーバーシュートさせる体験」は，ゲームが開拓できる領域だが，触覚の伝送による新たな領域の開拓は，ゲームに限ったものではない。

　例えば靴に触覚の伝送装置を仕込んだ「STEP」は，「普通の道を歩いてるのに，山道を歩いたり浜辺を歩いたりする感覚」が得られるだけでなく，「歩き方そのものを変えることすらできる」という。なぜなら「人間は足裏の皮膚感覚でバランスをとっているので，そこをハックして地面の感覚を変えてやると，歩き方も変わる」からだ。
　このことを南澤氏は，「歩くとは，触覚的な体験」なのだと指摘する。


　また触覚による伝送は，障害がある人に対しても有効だ。
　従来，ダンスを聴覚障害者の観客に伝えようとする場合，どうしても「音が伝わらない」ことが問題になってきた。
　そこでダンサーが踊る床に触覚センサを設置し，その振動を取って，リズムやすり足の感覚を観客に伝送すると，視覚と触覚が合わさって，ダンスの魅力をよりはっきりと伝えることが可能となる。

「自分がそこにいる」感覚を支えるのは触覚

　このような触覚のデザインを，南澤氏は「身体感覚をデザインすること」だとした。
　南澤氏自身，かつては「触覚」を「質感」のことだと考えていたという。だが水口氏をはじめとしたさまざまなパートナーと仕事を進めるなかで，触覚とはそれ以上のものだということを再発見したそうだ。「それはそこにある」「私はそこにいる」という感覚は，触覚に強く依存しているのである。
　具体的に言うと，我々が実在を感じるにあたっては，空気の流れや床の感覚といった触覚に強く依存している。実際，皮膚感覚を失う病気にかかった人は，「自分がそこにいる」という感覚をも失ってしまうと南澤氏は語る。


　そして，この「皮膚感覚がないため，自分がそこにいるという感覚を失う」というのは，現在のVRコンテンツにしばしば発生する問題でもある。映像のリアリティは急激に向上しているが，それゆえに触感の不在による「実感」の不在が目立ってしまうというわけだ。

　また，触覚は体験や感情といったものも連結している。例えば古い体験はしばしば「何かにくるまれた安心感」や「痛み」といった触覚の記憶を伴う。人間は握手やハグなど，皮膚感覚によって感情を交わすこともできるのだ。
　ということは，これらを逆に利用すれば，触覚を利用して喜怒哀楽などの情感をデザインし，伝えることもできるかもしれない。

　このように「触覚」をデザインする，つまり感覚をデザインする「Haptic Designer」という仕事は，映像や服，玩具デザイナーなど，いろいろな業界で生まれつつあると南澤氏は語った。


　さて，このようにして触覚のデザインが進んでいった場合，その先には何があるのだろうか。南澤氏はいくつかの可能性を提示した。

　まずはテレイグジスタンス。遠隔地に「自分」を送り込む技術である。
　ここまで示されてきたように，身体感覚とは自分自身を定義する感覚と言える。これを離れた場所に接続することで，「自己の存在をほかの場所にトランスポートできるかもしれない」というわけだ。
　既に存在するシステムとしては，人間の動きをトレースするロボットを用意し，さらにロボットの指先が触った感触を伝送するものがある。このシステムを体験した人は，HMDに写ったロボットの手を見ながら「自分の手になっている」と語るそうだ。
　この技術がさらに進めば，身体のすべてがロボット側にあるかのような状態を作ることが可能となる。つまりインターネット越しに「存在」できるようになる，というわけだ。


　このテレイグジスタンスを自分自身に適用すると，これまた不思議なことが起きる。それが「MetaLimb」，大雑把に言えば「手をもう一本増やす」という試みである。
　「MetaLimb」では，とりあえず「座って作業するときに手がもう1本あったら便利だろうな」という発想に基づいて，自分の意志で駆動し，フィードバックもあるマニピュレーターを設置した。座っているのだから足はあまり動かさないということで，足の運動でこのマニピュレーターを操るというUIを実装。もちろん，このマニピュレーターで物をつかむと，足にフィードバックがあるようになっている。

　この「MetaLimb」をある程度の時間使っていると，ユーザーは「足が第三の手として感じられるようになる」という。つまり，「この身体は自分のものだ」（身体所有感）と，「この身体を自分の意志で動かせる」（自己主体感）が合わさり，身体が拡張したような感覚が得られるのだ。

触覚デザインとエンターテイメント

　ついには身体拡張の具体的な可能性まで提示するに至った触覚デザインだが，では実際にこの身体拡張はどういう場面で利用できるのだろうか。

　南澤氏はここでひとつの取り組みとして，身体拡張をスポーツで使ってみようという，「超人スポーツ」を紹介した。2020年の東京オリンピックにおいて世界が日本に期待するのはテクノロジーであり，それはつまり「新しいスポーツの世界観を見せてほしいという期待」ではないか，という思いから生まれたそうだ。


　超人スポーツとは，スポーツとテクノロジーを組み合わせて，身体性を持った技術を身体に取り入れた人たちが戦うスポーツとして想定されている。
　もちろん，現状においても既に，身体活動とテクノロジーを組み合わせたエンターテイメントとして，Ingressや「Pokémon GO」のように「外に出て遊ぶ」ゲームはヒットしている。だがこれらのゲームは，あくまで「人が外に出て歩く」という段階であって，外に出て積極的に身体を動かすところにまでは至っていない。超人スポーツはまさにその「外に出て身体を動かして遊ぶ」なかに，テクノロジーを組み込むエンターテイメントと考えられるだろう。
　南澤氏はこれを「産業時代においてモータースポーツが生まれたように，情報時代における新しいスポーツを作る試みが，超人スポーツ」と語った。


　そのうえで南澤氏は「エンターテイメントと身体性・触感デザインがクロスオーバーする場面において，求められるのはゲーム業界の知見である」とし，「より広い業界にゲーム業界の知見が広げられればいいのではないか」と語って，講演を終えた。

　なお，質疑応答でも興味深いやり取りが多数なされたので，いくつかピックアップしてお伝えしたい。

Q.存在しない触覚をデザインすることは可能でしょうか。

A.現状でも「違和感」は簡単に作れる。例えば「見えているものと触覚が一致しない」といった感覚の不一致は，そのまま違和感になる。だが「違和感」の範疇を越えると，もはやそれは「表現」の領域に入る。存在しない触覚をデザインするといった領域は，発展途上だと言える。

Q.触覚データはどれくらいの大きさになるのでしょうか。

A.音よりも周波数が低い振動なので，音のデータより少ない。従って，音声の帯域に押し込むのは簡単にできる。
　問題があるとすれば，触覚はインタラクティブに変化するものだというところ。例を挙げると，ペットボトルを握りつぶすと，それに応じて触覚が変化していく。
　これを正確にデザインするには，対象の変化のレンダリングが必要になってくる。物理シミュレーションを厳密に行えばそれなりにやれるだろうが，計算量は爆発的に増大することになる。

Q.「エンターテイメントにおいてはこうあってほしい」触覚と，現実の触覚が違うということはあり得ると思う。ユーザーが「それっぽい」と感じる触覚を意図的に作ることは可能でしょうか。

A.いわゆる「効果触感」は，かなり楽に作れるようになってきた。「ここは重い触感にしよう」といった，いわば触覚のエフェクターも作れている。