［SIGGRAPH 2015］触覚フィードバックや表情認識機能付きHMDなど，ちょっと変わった最新技術が展示されたEmerging Technologiesレポート

Emerging Technologiesの展示会場

　SIGGRAPHでは，毎年，製品化前の先進技術を発表したり実演したりする展示会「Emerging Technologies」（以下，ET）が開かれている。
　出展料を払えば出展できる一般展示部門とは異なり，ETにブースを出展するには，SIGGRAPHに論文を提出して審査を通らなくてはならない。そうしたハードルがあるにもかかわらず，日本の大学や研究機関の出展率が非常に高いのも，ETの見どころだったりする。
　そんなETで披露されていた興味深い展示を，2回に分けてレポートしたいと思う。1回めは，仮想現実（以下，VR）やインタラクティブ技術に関連する展示を行っていたブースを紹介していこう。

Air Haptics

東京大学 大学院情報理工学系研究科 廣瀬・谷川研究室

　VRや拡張現実（以下，AR）における触覚フィードバック技術は，さまざまな企業や研究機関で研究が進められている分野だ。4GamerでのSIGGRAPHレポートでも，Disney Researchが開発した，空気渦を発射して触れた人に触覚フィードバックを与える「AIREAL」や，東京大学 大学院情報理工学系研究科による超音波発信器アレイを用いた触覚フィードバック装置「HORN」といった展示をレポートしたことがある。

　東京大学 大学院情報理工学系研究科の廣瀬・谷川研究室が発表した「Air Haptics」は，これらとは異なるアプローチによるもので，ハイテクなのかローテクなのかよく分からない，ユニークな発明であった。

　ET会場で展示されたシステムは，ある種のAR体験システムで，体験者はカメラの搭載されたヘッドマウントディスプレイ（以下，HMD）を被り，眼前の風景は，カメラで撮影されたリアルタイム映像として見ることになる。映像の中には，自分の手も表示されていた。すると，視界内にCGで描かれた卵が出現して，「これをつかめ」と指示される。
　当たり前のように手を伸ばして触ってみたところ，なにやら柔らかい感触だ。「なんだこりゃ？」と思ってHMDを脱ぐと，目の前には指をすぼめた自分手があるだけ。まるで手品だ。

他の人が体験している様子を撮影してみた。CGで描かれた卵をつかめと指示されるので（左），つかんでみたが，実際には指をすぼめているだけだ（右）

　なんとも不思議な体験だが，種明かしをされたら，その仕組みに思わず笑ってしまった。
　HMDに表示された視界の中で，自分の手だと思ってすぼめていた指は，CGで加工された指の映像だ。だが，その映像はリアルタイムではなく，実際の指の動きよりも意図的に遅らせているのだという。つまり，実際の指は映像の指よりも早く動いており，映像よりも先に指同士が接触する。ところが，それを見ている体験者は，指同士の接触を卵を触った感触だと理解してしまうわけだ。
　つまり，体験者の指同士が衝突するタイミングに合わせて，HMDを通して見ている視界内の指がCG卵を掴んだ状態となるように，映像を連続的に加工していたというわけである。

Air Hapticsの原理を説明したスライド。手の映像を加工して，体験者には「まだ卵には触れていない」と思わせておきながら，実際には指同士が接触している。指と指が衝突するのにタイミングを合わせて，卵をつかんでいるように映像を合成しているだけだ。触感を何らかの方法で作り出しているわけではないところがポイントである

　ブースのデモ機に使われていたHMDは，ソニーの「HMZ-T3」を改造したもので，手指の動きを検出するモーションセンサーには，Creative Technologyの深度検出機能付きカメラ「Senz3D」を使用していた。Senz3DをHMZ-T3改造機に取り付けることで，AR対応HMDに仕立てたわけだ。

SIGGRAPH 2012で披露されたMagic Pot。こちらの視覚で触覚を錯覚させるものだった

　さて，このAir Hapticsによく似た研究を，廣瀬・谷川研究室が3年前のSIGGRAPH 2012で披露したことがある。「Magic Pot」と呼ばれたものがそれで，Air Hapticsに似たようなアイデアを利用し，くびれた壺に触れたように感じられるのに，実際に触れたのは円筒形のオブジェクトであるという，摩訶不思議な体験を提供していた。
　一連のデモは，触覚フィードバックというよりも，錯覚の要素が大きいように思えるのだが，実際に体験してみると，AR技術を使ったマジックとして斬新で面白い。種明かしをされると，思わず笑ってしまうこのような体験は，新しいスタイルのカジュアルAR/VRコンテンツとして，意外に人気が出るかもしれない。

AffectiveWear

慶應義塾大学理工学部情報工学科杉本研究室，慶應義塾大学大学院メディアデザイン研究科

　視線追跡機能を持つVR HMDの「FOVE」が注目を集めている（関連記事）が，これと同じように，HMDやAR眼鏡を装着したユーザーの顔をリアルタイムに取得することで，インタラクティブな処理に役立てようとする技術が，今回のETで2種類，出展されていた。
　1つめは，慶應義塾大学理工学部情報工学科の杉本研究室が開発した「AffectiveWear」（関連リンク）と呼ばれるデバイスだ。公開されている公式動画を見ると，だいだいどのようなものか分かるだろう。


　AffectiveWearの目的は，低コストなセンサーを追加することで，HMDを装着した人の表情を読み取ることだ。デジタルカメラには以前から，「笑顔認識」という機能を備える製品があるのだが，方向性としてはそうした技術に近い。ただ，デジタルカメラの表情認識が画像認識技術をもとにしているのに対して，AffectiveWearの認識方法はだいぶ異なる。

　AffectiveWearのセンサーは，アイマスクのような形状をしたフレキシブル基板の上に，複数の光学式測距センサーを配置したような形となっている。

センサーデバイスの見本。小さな赤外線測距センサーが，アイマスク型のフレキシブル基板上に実装されている

　今回のデモ機では，VR HMD「Rift」の試作機（Development Kit 2，以下 DK2）を使っていて，DK2の接眼部にAffectiveWearの基板をはめ込んでいた。もし，AffectiveWearを組み込んだHMDが製品化されることがあれば，センサー基板はHMD内に一体化されるだろう。

DK2の接眼部にはめ込まれたAffectiveWearのセンサー基板。これで体験者の表情を読み取る

　AffectiveWearの基本概念はシンプルなものだ。人間が笑ったり怒ったりすると，顔の筋肉が動いて顔面の凹凸が変化する。そこで，顔の前においた複数の測距センサーで凹凸の変化量を検出して，複数地点の凹凸状態を組み合わせたパターンから，想定される表情を割り出すというのがAffectiveWearの仕組みというわけだ。
　カメラを使った画像認識技術ではなく，比較的安価な赤外線測距センサーで表情認識を実現するというところが，AffectiveWearの独自性なのである。

AffectiveWearの基本概念を示した図。表情変化による顔面の凹凸を測距センサーで取得する

　表情変化による凹凸の変化量やパターンは，当然ながら個人差があるので，まずは体験者ごとの表情パターンを登録する作業が必要だ。いうなれば，センサーのキャリブレーションといったところか。

体験者ごとの基本表情パターンを記録しておき，それとセンサーから取得した凹凸を比較すれば，表情を認識できるというわけだ

　展示ブースで披露されていたデモは2種類あった。
　1つめは，ゲームエンジン「Unity」のマスコットキャラクターであるユニティちゃんが，AffectiveWear付きHMDを被っている体験者の表情を真似るというデモだ。
　筆者も体験してみたが，表情認識のレスポンスはなかなか良好だった。DK2を被っていると，他人からは表情が読み取られにくいので，VR世界のキャラクターに向かって，大袈裟な表情をしても恥ずかしくないのがいい。

デモの様子。体験者の表情はDK2に隠されて見えないが，手前のノートPCを見ると，表情を認識してユニティちゃんが笑っている

ユニティちゃんを使った表情検出デモの例。体験者（左）が普通の表情だと，ユニティちゃん（右）も感情を込めていない表情になっている

体験者が笑顔を見せると（左），ユニティちゃんも笑う（右）

　もう1つは，HMDではなく，AffectiveWearを装着した眼鏡型デバイスによるデモだ。こちらは，VRではなく，AR眼鏡への適用を想定したデモとのこと。ちなみに，レンズに度は入っていない，タダの伊達眼鏡である。

眼鏡型のAffectiveWearデモ機。AR眼鏡への組み込みを想定したものらしい

　こちらのデモは，体験者の表情に合わせて，手前に置かれた植物型のロボットが反応を返すというものだ。植物に向かって笑顔を見せると，ピンと葉を伸ばし，哀しい顔をするとしおれるという具合。こちらは，HMDを被っていないので，体験者の表情が周囲の人にも丸見えである。筆者の写真を見ても分かるように，体験中はけっこう恥ずかしいものだった（笑）。

眼鏡版AffectiveWearを体験中の筆者。写真手前に見える植物型ロボットに向けて，左写真は笑顔，右写真は悲しい顔を見せてみた

　ブースの担当者によれば，AffectiveWearの技術は表情を読み取るだけでなく，眼球の大ざっぱな向きも取得できるとのこと。眼球を動かすと表皮筋肉が動くからだ。視線でマウスポインタを動かせるほどの精度を実現するのは，さすがに難しい難しいようだが，体験者の眼球がどちらを向いているか程度までは検出できるようだ。うまく活用すれば，VRコンテンツにおける簡単なUI操作や，方向指示程度のインタラクションに応用できるかもしれない。
　また，今回のデモでは対応していないが，技術的にはウインクの状態も取得できるとのこと。VRゲームでNPCの気を惹く合図なんかにも使えるかもしれない。VRゲームで自分の表情がゲーム世界に反映できるようになると，新しい面白さを実現できるのではないだろうか。

MEME

ジェイアイエヌ，慶應義塾大学大学院メディアデザイン研究科，大阪府立大学大学院 工学研究科

　体験者の表情をリアルタイムに取得して，インタラクティブ処理に役立てようという技術展示の2つめが，ここで紹介する「MEME」（ミーム）だ。
　といっても，MEME自体は，ARやVRのために開発されたものではない。眼鏡ブランド「JINS」を展開するジェイアイエヌ（以下，JINS）が開発を進めているウェアラブルデバイス，「JINS MEME」（ジンズ ミーム）に使われる技術なのである（関連記事）。

ET会場に展示されていたMEMEのデモ機。眼鏡ブランドのJINSが開発に取り組んでいるだけあって，見た目はまるっきり普通の眼鏡だ

　詳しい説明は，上の関連記事を参照してほしいが，ここでも簡単に説明しておこう。ウェアラブルデバイスといっても，MEMEはARやVR用の眼鏡ではなく，アクティビティトラッカー（※活動量計）に分類されるもので，装着者の運動状態を測定，分析するためのものだ。ゆえに，映像を表示したりする機能はまったくない。
　MEME最大の特徴は，リアルタイムに「眼電位」（がんでんい）を測定する機能にある。眼電位とは，眼球の動きに応じて生じる電位差のこと。一般的に，人体の内側である眼球の網膜側はマイナス電位で，外側になる角膜側はプラス電位となっているそうだが，眼球が動くと眼球周辺の筋肉も動いて電位差が変化するので，MEMEはこれを検出するわけだ。

眼鏡の「鼻あて」部分に2つ，左右のレンズをつなぐ「山」部分に1つの，計3か所にセンサーがある（左）。この3つで眼電位の変化をリアルタイムに検出する仕組みだ。右写真は，MEMEをかけたJINS 経営企画室リーダーで，MEMEプロジェクトを統括する清水唯史氏。ややフレームが大きめの眼鏡にしか見えないデザインも特徴である

　今回の展示では，このMEMEを使ったアプリケーションがいくつか披露されていた。1つはドライアイを防止するためのアプリケーションで，MEMEを装着したユーザーが一定時間以上瞬きをしないと，PCの画面をボカして見難くするというもの。それに気付いたユーザーが瞬きをすると，画面は元に戻るというものだった。つまり，平常よりも著しく瞬き頻度が下がったら，瞬きを促すために画面をボカすというわけだ。

MEMEを使ったデモのイメージ画像。瞬き頻度が低下すると，画面をボカしてそれを警告する

　眼電位の計測では，目を開く閉じるだけでなく，上下左右の動きも検出できる。どこを注視しているのかを正確に把握することは難しいとのことだが，眼球がどの方向を見ているのかまでは分かるという。つまり，AffectiveWearと同じように，眼の動きによる方向指示や簡単なジェスチャー程度ならば取得できるのだ。
　そうなると，AffectiveWearのようにVR HMDやAR眼鏡に応用するというアイデアも出てくるが，直近でそうした計画はないとのこと。しかし，眼電位測定という点では，AffectiveWearよりもシンプルに実現できるので，VRやAR用途に応用することも可能だろう。

　MEMEは現在，開発者向けバージョンがリリースされており（関連リンク），2015年秋には一般向けリリースも予定されているとのこと。今後の展開に期待したいところだ。

Wobble Strings

東京大学大学院情報理工学系研究科 苗村研究室

　「ローリングシャッター現象」という言葉を知っているだろうか。カメラを趣味にしている人なら，「ローリングシャッター歪み」という言葉で記憶している人も多いかもしれない。
　これは，コンパクトデジタルカメラやスマートフォンの内蔵カメラで起きやすい現象で，高速に動く被写体を電子シャッター方式のカメラで撮影すると，被写体が間延びしたり，曲がったりして映る現象のことだ。

Wobble Strings展示ブース。ギタリストが座っているだけで，どこに発表技術があるのか，パッと見ただけでは分からない（笑）

　電子シャッターでは，CCDセンサーやCMOSセンサーといった撮像素子から映像を読み出すことで，シャッター動作を兼ねているのだが，映像フレームの端から順次読み出しをしていくので，上から下まで読み出し終わるまでに，ごくわずかとはいえ，時間がかかる。ところが，読み出しの間に被写体が動くと，読み出しが終わった部分と，これから読み出す部分とで，被写体の位置がズレてしまう。ローリングシャッター現象は，こうして生じるわけだ。

　さて，デジタルビデオカメラでは，この現象が周期的に視覚化される。たとえば，高速に回転している扇風機を撮影すると，回転する羽根がゆっくり動いて見えたり，変な模様が見えたりするのだ。東京大学大学院情報理工学系研究科・苗村研究室が発表した「Wobble Strings」は，このローリングシャッター現象を逆用して，高速振動する弦楽器の弦に映像を投影するという不思議な技術である。

Wobble Stringsのデモより。ギターの弦がグニャグニャと曲がっているように見えるが，これがプロジェクタで投影した映像だ

　言葉や写真ではなかなか伝わりにくいので，公開されている動画を見てほしい。動画の2：15あたりから，ギターの弦に映像を投影している様子があるので，説明部分は飛ばして，そこだけ見ても構わない。


　弦というのは横に伸びた線である。そこに投影される映像は，映像生成用のPCによって縦線が並ぶように分解され，右から左へ順次投影されていく。横線である弦と縦線となった映像が重なった交点に，映像は投影されて目に見えるわけだ。もし弦が止まっているなら，映像も横一線の分だけしか表示できない。だが，弦が上下に振動しているなら，映像との交点も上下に動くわけだから，振動の速さ（振動周波数）に応じて映像の内容を適宜調整して投影すれば，振動する弦がスクリーンであるかのように映像を表示することが可能となる。これがWobble Stringsの基本的な考え方だ。
　なお，弦の振動周波数は，実際に弦が鳴る音のピッチを取り込んで判別している。

Wobble Stringsの仕組み

デモ機材の様子。ギターの弦にローランド製ピックアップ「GK-3」を取り付けて，これをローランド製シンセサイザである「GR-55」につないで音のピッチ（音高）をデジタルデータ（MIDIデータ）に変換。PCにピッチのデータを取り込んで，それをもとに映像を生成する。その映像を，写真中央に見える単板式DLPプロジェクタでギターの弦に投影するという仕組みになっていた。なお，このDLPプロジェクタは，可聴音域の上限に近い20kHzという超高速リフレッシュレートでの投影が可能な，学術・産業用プロジェクタであるViALUX製「V7000」である

USB接続の10キーボードを使った投影パターンの切換器。シンプルな幾何学模様だけでなく，単純なキャラクターも投影できる

　映像を投影するといっても，ギターの弦が動く幅は小さいので，複雑な模様は描けない。そのためWobble Stringsで表示可能な映像は，動画を見ても分かるように，横方向に細長い，小さな繰り返しパターンの図柄に限られる。ブースでのデモでは，幾何学的な模様のほかに，単純なキャラクターのグラフィック表示も投影されていた。

サイン波を投影してみた。緩んだ紐のように見える

お化けのようなキャラクタを表示しているのだが，うまく撮影できなかった

　投影映像を面で投影してしまうと，ギターの背景にある壁にも映像が表示されてしまうので，肝心の弦の上に投影された映像が目立たなくなってしまう。そこでWobble Stringsでは，背景に投影される映像を白色で消し去るために，わざわざ投影映像の補色となる映像も生成して，これを背景部分に投影しているそうだ。たとえば，白が「255」，投射映像が「15」であるなら，「240」の補色映像を投射してやれば合わせて255になるので，背景から余計な投射映像を消せるわけである。
　振動する弦の上にだけ映像が見えるのは，その補色映像が時間的に最後に投射されるためだ。映像の後から補色映像を投射しても，そのときには弦の上にある映像は消えているか，弦自体が移動してしまっているので，問題にはならないのである。

　さて，技術的な説明を受けてからデモを見ると，かなり複雑な技術が使われていることに感銘を受けるのだが，なにせ映像が表示されているのはギターの上だけなので，何が起きているのかパッと見ただけでは分からないのが難点だ。実際，何をしているのか分からずに，そのまま通り過ぎてしまう来場者も多かったようである(笑)。
　では，そんな技術を何に使えるのだろうか。現状のままでは弦の上に投影された映像を見られるのは，間近にいる人だけに限られるので，ライブ演奏での演出に使うのも難しい。たとえばミュージックビデオの一部で，ギタリストの華麗なテクニックを見せる演出に利用する，といったことくらいだろうか。

SIGGRAPH 2015 公式Webサイト（英語）