［SIGGRAPH］空気で感じるフォースフィードバックや水面ディスプレイなど，ユニークな技術が披露された「Emerging Technologies」レポート（後編）

　商用化や製品化前の先端技術を発表する展示会「Emerging Technologies」レポートの後編では，エンターテイメントへの応用もできそうな，ユニークな“体験系”技術をレポートしたい。

MicrosoftはEmerging Technologiesレポート前編で紹介した「Foveated 3D Display」以外に，2013年1月に発表した「IllumiRoom」も展示していた。プロジェクションマッピングをゲーム体験や映像視聴に応用する技術で，テレビの外にまで映像がはみ出てくるような表現を可能とする

［SIGGRAPH］次世代のディスプレイ技術が垣間見えた，先端技術展示会場「Emerging Technologies」レポート（前編）

AIREAL: Tactile Gaming Experiences in Free Air

Rajinder Sodhi氏ほか，Disney Research Pittsburgh

　「Kinect」のような完全ハンズフリーのモーション入力システムが登場したことは，マン・マシンインタフェースのあり方に変革をもたらした。ただし，ある重大な課題が，未解決のまま残されている。それは，ハンズフリーのモーション入力システムでは，映像以外にシステム側からのフィードバック手段がないという点だ。
　たとえばゲームコントローラの場合，振動機能によるフォースフィードバックが内蔵されるのは，今や当たり前のこと。モーション入力系のゲームコントローラでも，WiiリモコンやPlayStation Moveはスティック状のコントローラを握って操作する仕組みなので，振動フィードバックが可能。つまりハンズフリーのモーション入力システムは，「何かを持ったりしなくていい」という利点が，同時に弱点となってしまっているとも言えよう。

　ディズニーのテーマパークで使われる技術など，エンターテイメント分野で利用できるさまざまな基礎技術を研究している「Disney Research」は，この課題に対する提案を，Emerging Technologiesの場で披露した。それは，空気の振動を渦の形で照射するという技術だ。イメージとしては，理科の実験で作る空気砲のようなものであった。

AIREALの実物。手前側に見えるのが空気を吐き出すノズル

　「AIREAL」（エリアル）と呼ばれるこのシステムは，一辺が8cm程度の立方体型エンクロージャに，蛇腹状のノズルが付いたものだ。このノズルはモーター制御で上下左右に動き，ノズルが向いた方向に，リング状の渦（空気振動）を発射する。
　エンクロージャの側面のうち，ノズルのない5面には，直径5cm程度のサブウーファが装着されている。このサブウーファを振動させることで，エンクロージャ内部で空気渦を形成し，ノズルからそれを発射するという仕組みだ。

AIREALの構造と各部位の機能

Kinect系のゲームに応用する際には，こんな設置イメージになるらしい

　分かりやすい例として，KinectとAIREALを組み合わせた場合で説明しよう。ユーザーがKinectでモーション入力を行っているときは，顔や手足を動かしたりする。そのときにフォースフィードバックを与えようとするならば，AIREALで手足や顔に目がけて空気渦を打ち出す。狙ったところに空気渦を発射するために，ノズルの先端は稼動して向きを変えられるようになっているわけだ。以下にDisney Researchが公開している，AIREALの説明ムービーを掲載しておこう。

ノズルの前で煙を発生させて，空気渦を可視化したデモ。空気渦は進むにつれて拡散し，輪っかの直径が広がっていく。発射されてから1mほど進むと，空気渦の直径は8.5cm程度になるとのことだった

　AIREALは今回が初披露とのことで，会場で披露されていたのは，「AIREALの空気渦フォースフィードバックがどのようなものか」の解説と体験のみ。残念ながら，KinectのゲームをAIREALによるフォースフィードバック付きでプレイする，なんてことはできなかった。

　会場での展示は2種類あり，1つはAIREALを使って空気渦を打ち出して，紙製の的を狙うというゲーム感覚のものだった。AIREALは空気渦の射出速度に変化を付けられ，弱いと的が優しく揺れるだけだが，強ければ的が大きくたなびくように揺れるといった具合だ。

AIREALで的を狙うゲーム的なデモ。写真右に見えるひし形が紙製の的。AIREALは写真下中央にちらりと見える，ジョイスティックで動かしている

　2つめは，草花が表示されているテーブル型ディスプレイの上に手を伸ばすと，CGの蝶が伸ばした腕に止まったり，その上で羽ばたいたりするインタラクティブなデモだ。
　蝶の映像は，頭上に設置されたプロジェクタから，腕の位置に向かって投影しているだけだ。しかし，腕に止まった蝶が羽ばたくと，その位置に向かってAIREALが空気渦を発射する。空気渦が腕に当たると，その圧力が蝶の羽ばたきで起こった風であるかのように感じられる，という仕組みだった。

ディスプレイ上に手を伸ばすと，そこに蝶が止まる。蝶が羽ばたくと，AIREALにより，その羽ばたきの風圧が感じられる，というデモ

　筆者も体験してみたが，空気渦が腕に当たると，軽く触られたような感触を感じる。映像の蝶が羽ばたくと，その羽ばたきに同期して空気渦がやってくるので，本当に蝶の羽根が当たっているかのような錯覚さえ感じるのは，実に新鮮な体験だった。これがKinect対応ゲームのフォースフィードバックに採用されたら，感動させられそうだ。
　非接触かつ安全な方法で，人に振動を伝える手段としては非常にユニークだ。なにしろサブウーファで実現できるのだから，コストメリットも大きく，その意味では現実的なソリューションであると言えよう。

　ただし，個人が家庭で楽しむエンターテイメント機器への応用という点では，解決すべき難問がある。とくにゲーム向けのフォースフィードバックシステムとして考えると，やっかいなのが遅延時間だ。ゲームでAIREALを使うならば，映像と同期して空気渦が飛んでこなければ意味がない。

　AIREALにおける遅延時間とは，空気渦を発射してから目標（プレイヤーの体）に到達するまでの所要時間にあたる。担当者によれば，発射後0.5〜1.3mくらいまでは，空気渦は7.2m/sの速度で飛ぶので，遅延時間にすると約140msくらいになるとのことだった。60fpsのゲームであれば8フレーム分以上，30fpsでも4フレーム分以上遅れて感じられるという計算になる。しかもこれは，AIREALのノズルを動かさないで済む理想的な状況での数字だ。実際にはモーターによってノズルを動かし，狙いを定める時間も必要となるので，遅延時間はさらに長くなってしまう。

　遅延がこのくらいあると，ゲームの映像と同期させるのは困難だし，そもそも動きの速いゲームでは，手に向かって空気渦を発射しても，到達する前にプレイヤーが手を動かしてしまう可能性がある。スローテンポなゲームであれば，現状でもなんとか使えるかもしれない。いずれにしてもゲームを考慮した場合，遅延には改善が必要だろう。

AIREALを前後に設置（赤丸内）すれば，サラウンドな空気振動が体験できるという写真。理屈はともかく，個人が家庭に導入するのは現実的ではなかろう

　筆者が話した担当者は，「AIREALは1つのシステムに複数設置することも可能なので，複数のAIREALを並べて動かせば，遅延の問題は低減されるのでは」と言う。そうは言っても，テレビの前にAIREALを複数設置することが現実的かというと，それは敷居が高すぎる。だが，テーマパークやアミューズメント施設に向けた技術と考えるならば，意外に現実的かもしれない。
　もしかすると近い将来，ディズニーのテーマパークにある体験型アトラクションなどで，柔らかい衝撃が手や頬や首筋にやってきて「あれ？」と思うようなことがあるかもしれないが，それにAIREALの技術が応用される可能性は，決して低くないだろう。

AquaTop Display: A true "immersive" water display system

的場やすし氏ほか，電気通信大学，小池研究室

　「テレビの画面に体が入り込む」といったファンタジックな描写を現実化したような技術「AquaTop Display」が，Emerging Technologiesに出展されていた。開発したのは電気通信大学の小池研究室である。2013年3月にフランスで開催された，「Laval Virtual 2013」というバーチャルリアリティ関係のコンテストにも出展され，グランプリを獲得するという快挙を成し遂げている。
　AquaTopという名前のとおり，このディスプレイは水に映像を投影するものだ。だから，表示面の中に手を入れられる。しかし，水は基本的に無色透明であり，そのままでは映像を投影するのは難しい。そこでAquaTop Displayでは，白濁色の水を使っている。

　白濁色の水は一体何でできているのかと，筆頭研究者の的場やすし氏にたずねたところ，「最初はお風呂用の入浴剤を使いました。ただし，ディスプレイとして使えるほどの高濃度になるまで入浴剤を入れると，入浴剤の香りがきつすぎた。そこで試作システムでは，入浴剤の主成分である『酸化チタン』だけの水溶液にしています」という意外な答えが返ってきた。
　なんでも，最初の実験は本当に入浴剤を使っていたそうで，入浴剤を入れた水面にプロジェクタで映像を投影してみたところ，非常に鮮明な映像が映し出されたものだから，研究メンバーも驚いたそうだ。

　デモを見ていると，水面が波立っていないときはたしかに，白いプラスチックの板に映像を投影しているように見える。ところが，その映像に触れると指が水中に入ってしまうものだから，最初触れたときは何が起きているのかとっさに理解できず，非常に驚く来場者も大勢いたらしい。

　展示されていたデモは2種類。1つはシューティングゲーム風の興味深いデモだった。プレイヤーが水中に手を入れて指だけを外に突き出すと，突き出た指の周りに魔法陣のようなエフェクトが発生し，そこに光が集まりだす。そのまま手を前方へ突き出すと，指の周りに発生した光の弾が，その方向へと発射されるというものだ。クラゲのような敵に弾が命中すれば，水面から激しい水しぶきが発生するという，派手な演出まで付いている。

水中に入れた手から指を突き出すと，魔法が指に宿り出し……（左）弾が敵に命中すると，水しぶき付きのド派手な爆発演出が。水しぶきにも色が付くのが，これまた美しい

波動拳ポーズで大きな弾も発射可能。ちなみに，このバスタブは日本からもってきたのではなく，現地で調達したものだとか

　さらに，水面上で波動拳（あるいはカメハメ波）の発射ポーズを取ると，巨大な魔法陣が発生。その状態で両手を突き出すと，巨大な弾が発射できるというギミックも盛り込まれていた。
　水面上には映像で投影された的だけでなく，実体物のソフビ製アヒル人形も浮いており，そこに弾が命中すると，激しい水しぶきエフェクトが発生してアヒルが「ガア」と鳴くという，笑いを誘う楽しいデモになっていた。ぜひ下に掲載したムービーを見てほしい。


　もう1つは，PCのデスクトップをイメージしたインタフェースのデモだ。このデモでは，動かしたいアイテムの下に手を入れ，水中から指を突き出すとそのアイテムを動かしたり，サイズを変えたりできるようになっていた。また，ファイルのコピー操作なら，両手でアイテムを水ごとすくい上げて，目的の場所にバシャっと落とすことで行え，ファイルの削除はアイテムを指で選択して，そのまま水面下に沈めると削除されるといった具合だ。

　写真やテキストだけではイメージが掴みにくいと思うので，こちらもぜひムービーを見てほしい。タッチパネル操作とジェスチャー入力を一緒くたにしたような操作系は，なんとも面白い。普段使いのPCがこんなGUIになったら，仕事もちょっとは楽しくなるかもしれないが，1日これで仕事をしていたら，手がふやけてしまいそうだ(笑)。

ファイルのコピーは，水面からファイルを両手ですくい上げて，それを目的の場所で落とす

ウインドウの拡大縮小は，対称アイテムを2本の指で突き指して，指を広げることで操作する

水面の直上にあるプロジェクタとKinect

　技術的な話をすると，AquaTop Displayでは水面上の指位置や移動方向の検出を，水面直上に設置したKinectで行っている。アヒルの位置検出も同様だ。指なら同時に数十本の位置と動きを識別できるとのことで，マルチユーザー入力にも対応できるそうだ。

　Kinectが発する赤外光は，透明な水を透過してしまうが，酸化チタン水溶液にすると映像が鮮明に投影されるように，水面上で反射するようになるという。そこで，現在研究グループでは，水中にある指の位置や動きを検出ことも研究中とのことだ。酸化チタン水溶液の濃度を薄くすれば，Kinectでも水中の指の動きを検出できるのだが，そうなると表示映像も薄くなってしまうので，Kinect以外のセンサーを採用することも検討しているとのことだった。

振動や水しぶきエフェクトを生成するためのスピーカー制御回路。「見てのとおり，配線が大変なんです。エフェクト生成用スピーカーは，40Hzで駆動しています。この40Hzが丁度いいんです」（的場氏）

　また，ゲームデモにおける派手な水しぶきは，防水加工された直径25cmのウーファスピーカーユニットを，水面下に設置することで実現しているそうだ。ポンプを用いて水を噴き上げるよりも，広範囲に広がる派手な水しぶきを，低遅延で実現するにはこの方式が最適なのだとか。プレイヤーの手前にあたる水面下にも，小型スピーカーを設置しているが，こちらは水しぶき発生用ではなく，プレイヤー操作のフォースフィードバック用（触感再現用）になる。

　ところで，写真やムービーを見ると，水しぶきにまで色が付いているのが分かるだろう。これを見て「いったいどうやって色を付けているんだ？」と思わなかっただろうか？
　水しぶきに色が付いている仕組みは単純で，「直上のプロジェクタから映像を投影しているから」にすぎない。派手な色付きの立体的な水しぶきをわざわざ作っているのではなく，投影映像の中で水しぶきが上がると，自然に色が付いたように見えるだけというわけだ。種明かしをすれば「なんだ，そんなことか」と思うが，体験してみると，このカラフルな水しぶきにはビックリさせられた。

　表示面に手を入れられるディスプレイとしては，これまでにも水蒸気を霧状に噴出して，そこに映像を投影する「フォグディスプレイ」というものがあった。しかし，霧に映像を投影する仕組みである以上，どうしてもぼんやりした映像になるという欠点がある。だが，このAquaDisplayならば，スクリーンに投影している映像と同じくらい，くっきりした映像を表示できる。
　人体に悪影響がなく，しかも涼しげな水を使うとあれば，夏場のエンターテインメント用としても適していそうだ。的場氏は，「水を使うので，流体シミュレーションを効果的に活用したゲームが実現すれば，面白そうです。たとえば，水に浸かった子供達が，水面に出現したモンスターをみんなで（水面を）叩いて倒すゲームというのも，楽しそうですね」と語っていた。

VibroTracker: a Vibrotactile Sensor Tracking Objects

東京大学，石川 奥 研究室

　たとえばスポーツ中継などで，素早く動く選手を視界の中央に捉えたまま撮影するには，カメラマンに相当な技量が要求される。人間の動きならまだしも，高速で走るレーシングカーやバットやラケットで打ったボールが相手となると，カメラの中央で捉え続けるのはプロカメラマンでも難度が高い。
　そんな難しいことをテクノロジーで可能にしてしまうのが，東京大学の石川 奥（いしかわ，おく）研究室が開発した「サッカードミラーシステム」（Saccade Mirror，駆動鏡面を用いた高速視線制御デバイス）だ。

　サッカードミラーシステムは，左右方向（パン）と上下方向（チルト）に回転駆動する，2対の小型ミラーからなる「ガルバノミラー」（Galvanometer Mirror）と，集光光学系から構成される撮影システムだ。ガルバノミラーとは，本来ならレーザー光を使った面走査システムに使われる可動式の反射鏡だが，サッカードミラーシステムでは，撮影機器を固定したまま広い視界を得るための仕組みに，これを応用している。
　研究グループではこのサッカードミラーシステムに，1000fpsの高速度カメラを組み合わせ，自動で被写体を追尾する仕組みに発展させた。

サッカードミラーシステム（左）。最上部にあるのが1000fps撮影カメラで，撮影画角は38.6度。右はガルバノミラー部を拡大した写真。2つのミラーは±30度の範囲で動く。カメラとミラーの組み合わせにより，100度近い視界が得られる

　現時点では，設定したキーカラーを検出すると，それが視界中央にくるようにミラーを制御する仕組みになっている。分かりやすく言うと，キーカラーをオレンジ色を設定しておき，球技で使うボールもオレンジ色にすれば，常にボールを視界の中央に置いて撮影できるというものだ。
　下のムービーは，サッカードミラーシステムによる自動動体追尾の仕組みを解説したものである。驚くべき精度で，飛び交うボールを追尾している様子が分かる。

オレンジ色のボールを素早く動かしても（左），サッカードミラーシステムを通して撮影された映像は，まったく視界中央から動かない（右）。ちなみにボールを振っているのは，東京大学の石川正俊教授

　研究グループによれば，このシステムに顔認識や形状認識の仕組みを組み合わせることで，常に特定の人物やオブジェクトを中央に追尾し続ける撮影システムも実現可能であるという。

　ちなみに，サッカードミラーシステムで使用している1000fpsカメラは，自動追尾の制御用で，映像を撮影するためのものではないそうだ。
　そこでサッカードミラーシステムには，もう1つ任意の光学機器を装着できる可動式マウントが用意されている。たとえば，マウントにビデオカメラを設置すれば，サッカードミラーシステムが自動追尾した視界を，ビデオカメラで撮影可能になる。あるいは，マウント部分にプロジェクタを設置すると，視界中央に捉えた物体に対して，映像を投影し続けるなんてこともできるという。
　プロスポーツの中継を例に考えると，動き回る選手やボールに対して映像――解説用の情報でもCMでもいい――を映し続けるなんてことができるのだ。


　大きな可能性を秘めたサッカードミラーシステムだが，今回のSIGGRAPH 2013の展示では，これに「レーザードップラー振動計」を組み合わせて，さらに発展したシステムとなっていた。
　レーザードップラー振動計とは，非接触型の振動計である。振動する物体（以下，動体）に光を照射したとき，反射光はその動体の速度に応じた周波数変化を生じる。いわゆるドップラー効果だ。レーザードップラー振動計はレーザー光を使い，ドップラー効果から対象物の振動数を求めるという仕組みになっている。その精度は驚くべきもので，測定可能速度はnm/s（ナノメートル/秒），周波数にすれば数MHzまで。人間の皮膚に光を当てるだけで，脈拍を測定できるというのだから，相当な高精度だ。

写真奥に見えるオレンジのピンポン球に加えられた衝撃を，レーザードップラー振動計で測定。その振動を，写真手前に見える紙コップに付いたスピーカーによって，手元で再現している

　今回の展示では，ピンポン球の動きをサッカードミラーシステムで追尾しつつ，それをを叩いたときの衝撃を，レーザードップラー振動計で測定するというデモ「VibroTracker」が披露されていた。これの何が凄いかといえば，センサーを一切接触させることなく，ピンポン球に加わった衝撃を測定できるところだ。そのうえ測定された衝撃を，紙コップに取り付けたスピーカーを使って，ほぼリアルタイムで体験することさえ可能というから面白い。


　先に挙げたスポーツ中継の例で考えてみよう。プロスポーツ選手にセンサーを身に付けてもらうのは，競技の障害になる可能性があるために難しい。だがこのシステムを使えば，プロゴルファーが打つドライバーショットの衝撃や，プロテニスプレイヤーがボールを打つときの衝撃を非接触で記録して，観客がそれを体験することも可能になるわけだ。


　現在はとても大きいサッカードミラーシステムだが，小型化も技術的に可能だという。現在は業務用機器への応用や施設への設置を検討しているとのことだが，小型化が実現されれば，「運動会や学芸会で，撮影者はほとんど動かずに，自分の子供だけを撮り続けられるカメラ」なんてものも，実現可能になるかもしれない。

Emerging Technologies｜SIGGRAPH 2013

SIGGRAPH 2013 公式Webサイト