お気に入りタイトル/ワード

タイトル/ワード名(記事数)

最近記事を読んだタイトル/ワード

タイトル/ワード名(記事数)

LINEで4Gamerアカウントを登録
3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
特集記事一覧
注目のレビュー
注目のムービー

メディアパートナー

印刷2012/11/30 19:35

イベント

3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 今回のSIGGRAPH 2012「Emerging Technologies」(通称「E-TECH」)展示セクションレポート第3弾では,次世代のゲーム向け表示ディスプレイにも応用されるかもしれない,先端ディスプレイ技術にまつわる展示を集めて紹介しよう。本稿も編集部の都合で掲載が遅れてしまったが,その点はご容赦願いたい。

「Emerging Technologies」展示セクションレポート(1)

「Emerging Technologies」展示セクションレポート(2)


Tensor Displays:Compressive Light Field Synthesis using Multilayer Displays with Directional Backlighting

by MIT Media Lab

メガネなしで多視点3D立体視が可能な新提案なLight Field再構築型ディスプレイと

 2010年は各社から3Dテレビが発売され,さらにはBlu-ray 3Dの発売が始まるなど,「3D元年」ともてはやされた年だ。その後,3D立体視の本命は裸眼立体視と言われはじめ,翌2011年には任天堂からニンテンドー3DSが発売されて,3D立体視はもちろん裸眼立体視までが非常に身近なものになってきている。

 では,裸眼立体視の次は何が来るのか?
 いくつかの候補が挙がっているが,その1つに,それぞれの視点から異なる立体像が得られる同時多視点裸眼立体視が挙げられている。つまり,表示されているオブジェクトを左から見ればそれを左から見たような光景が見え,右から見れば右から見たような光景が見えるといった具合だ。
 これを実現する技術として,ホログラムなどに代表されるLight Field Reconstruction技術が研究されているが,その多くは実用化前の基礎研究レベルに留まっている。

 しかし,MIT Media Labsが発表した「Tensor Display」は,既存の液晶技術とデジタル画像処理技術をうまく応用し,現実的に実用化できそうなLight Field再構築型ディスプレイとなっていた。
 Tensor Displayでは,液晶パネルを3枚使用し,それぞれに若干の隙間を空けて重ねた構成が採用されている。それぞれの液晶パネルは一般的な透過型液晶パネルで,全画素白表示ではほぼ完全な透明板になるようなイメージだ。バックライトは最後面にのみ設置される。

Tensor Displayの展示の様子
画像集#001のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)


 これまでにも複数液晶パネルを重ねた構成でボクセルを表示する“力業”のボリュメトリックディスプレイは存在したが,Tensor Displayはもう少しやり方がスマートだ。考え方は視差マスクを使った裸眼立体視に近い。

 表面のある1画素に着目した場合,そこに向かう視線は,奥にある2枚の液晶パネルも通過することになる。つまり,最低3つの画素を通り過ぎるわけだ。そこで,ある方向から見た立体像を3枚の液晶パネルにより,時分割で視差マスク表示し,視線が通ることになる3枚の液晶画素でフルカラー表現を行う,というのがTensor Displayの基本概念になる。
 液晶パネルには,240Hz駆動の高速なものが採用され,毎秒240コマ×3枚のマルチレイヤー液晶パネルの表示で多視点裸眼立体視を実現するのだ。

Tensor Displayの構造
画像集#004のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

上段がTensor Displayの表示立体画素,下段がレンチキュラーレンズ方式の裸眼立体視の立体画素。解像感の高さがこの方式の利点
画像集#003のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 展示されていたシステムは,横方向9視点,縦方向3視点の計27視点システムとなっており,27視点という多視点裸眼立体視の割には,解像感の高い裸眼立体視を実現させていた。1つの立体画素を3枚の液晶の画素で表現するので視差による立体視だけでなく,被写界深度的な立体画素も表現できているとのことだったが,それはあまり実感できなかった。

3枚の液晶パネルを同時表示したときの最終立体映像
画像集#008のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
画像集#005のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
最前面の液晶パネル表示
画像集#006のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
中央の液晶パネル表示
画像集#007のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
最後面の液晶パネル表示

 現在では,東芝のテレビ「REGZA X3」が高価な4K2Kパネルを採用したように,立体像の解像度確保のために1枚の高解像液晶パネルで裸眼立体視を実現しようとするアプローチが主流だが,Tensor Displayの方式ならば価格がこなれた(今となっては安価な)フルHDパネルを複数使って高解像な裸眼立体視ディスプレイを実現できるというわけだ。意外に応用発展性がある技術と言えるかもしれない。




3D Capturing using Multi-Camera Rigs, Real-time Depth Estimation and Depth-based Content Creation for Multi-view and Light-field Auto-Stereoscopic Displays

by Peter Tamas Kovacs(Holografika), Frederik Zilly(Fraunhofer HHI)

〜80台のプロジェクタによって,視点による影響を受けない裸眼立体視表示

 ハンガリーのHolografikaは,多視点裸眼立体視ディスプレイの製造メーカーとしてはパイオニア的な存在で,業界ではなかなかの知名度を誇る。同社の製品は日本でもクリスティ・デジタル・システムズから購入することが可能だ。
 そんなHolografikaが4視点で捉えたリアルタイム実写映像を超多視点立体映像に変換するシステム「3D Capturing using Multi-Camera Rigs」を展示していた。4視点から撮影した映像の内容をパターンマッチングして深度情報を推察し,そこから多視点立体映像を合成するというアルゴリズムだ。

多視点裸眼立体視の映像としては桁違いに明るいのが特徴。実は頭上の「HOLOVIZIO C80〜」と書かれている湾曲したアルミフレームの中にところ狭しと80台のプロジェクタが配置されている。このプロジェクタ収納部は撮影禁止だった
画像集#012のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 デモンストレーションでは,独自の超指向性スクリーンに対して複数台のプロジェクタから映像を投射する多視点裸眼立体視システムが使われていた。こちらは「HoloVizio C80 Glass-Free 3D Cinema System」(以下,HoloVizio C80)という業務用製品として実際に発売が予定されている。
 HoloVizio C80は,多視点裸眼立体視にありがちな暗い映像ではなく強烈に明るいのが特徴だ。さらに,表示面に対して真横に歩くようにして見続けても,視点の切り替えポイントで映像が途切れてしまうようなポッピング現象が起こらない。

3D Capturing using Multi-Camera Rigsシステムの構造を示したイラスト。4視点から撮影した映像をリアルタイムに超多視点映像に変化する仕組みだ
画像集#011のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

画像集#014のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
 担当者によれば,プロジェクタの台数は80台で,各プロジェクタの解像度は1280×768ドット,輝度は1000ルーメンとのこと。視野角は40°。つまり「40°÷80台」で約0.5°区切りで個別の視点からの映像が表示されているため,ポッピングレスな裸眼立体視表示を行えるわけである。ちなみに,プロジェクタに映像を送出するGPUの数は40基で,1GPUあたり2台のプロジェクタを接続している計算だ。

 HoloVizio C80の価格は,ハードウェアのコンフィギュレーションによって上下するがおよそ18万〜20万ドルとのこと。この価格帯なのでもちろん民生向けではなく,イベント用,博物館などの展示施設向け,あるいは自動車などの大型工業製品のレビュー用に訴求される。

視聴位置を変えて見れば,その方向からの立体像が見える。しかも0.5°刻みで立体像を異なる視点から観察できるので,単純な二眼視差だけでなく時間方向の運動視差による立体感も伝わってくる。この感覚は通常の裸眼立体視とは明らかに異質だ
画像集#015のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#016のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)



A Colloidal Display: membrane screen that combines transparency, BRDF and 3D volume

by 落合陽一氏(東京大学),Alexis Oyama氏(Carnegie Mellon University),豊島圭佑氏(筑波大学)

超音波を使ってシャボンの膜に映像を表示

 SIGGRAPH 2011のE-TECHでは,コマのように白黒パターンを回転させることで多様な材質表現を試みた「Cyclone Display」を展示していた落合陽一氏の研究グループ。SIGGRAPH 2012では,ユニークなディスプレイを公開していた。
 それは,なんと「シャボン・ディスプレイ」。提出論文名には「A Colloidal Display」と名付けられているが,シャボン・ディスプレイと言った方がイメージが湧きやすいだろう。石けん水のようなコロイド液の薄膜を使うことからこうした論文名が付けられている。


 石けん水でできるシャボン膜は,通常は透明状態にあって透けて見える。当たり前だ。しかし,これに対し,音波を与えるやると薄膜自身が細かく振動し,薄膜表面の反射率が変化するのだ。音波の周波数を上げ下げすることで,薄膜の反射率が変化することに着目した研究グループは,こうした薄膜を映像スクリーンに利用できないかと考えたのだ。

A Colloidal Displayのシステム概念図
画像集#018のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
 一般的な映像スクリーンは,映像の光がやってくると再帰性反射をしたり(ビーズ系),拡散反射をしたり(マット系)して映像を結像させる。通常状態ではまったく透明なシャボン膜を音波で振動させてやると,その音波の周波数によってさまざまな反射特性が作り出せるため,希望する表示特性で表示できるというわけだ。研究グループによれば,それこそ拡散反射から鏡面反射の特性までを自在に作り出せるとのことだ。
 しかし,映像スクリーンを実現するのに,可聴音を出していてはうるさくてはかなわない。そのため,展示ブースのデモ機では,可聴範囲を超えた40kHz以上の超音波を高い指向性をもって出力する小型超音波ユニットを10×10のアレイ構造に組みあげたモジュールでシャボン膜を振動させる仕組みとなっていた。なので,シャボン・スクリーンの実際のデモ機がうるさいということはない。

超音波照射モジュール
画像集#019のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 この超音波モジュールで鏡面反射特性にしたシャボン膜に対し3方向から異なる映像をプロジェクタで投射し,1枚のスクリーンで3方向からまったく異なる映像が見られるようにしたデモや,近/中/遠距離に配置したシャボン膜に対して一定時間ごとに超音波を当てる,当てないを切り換えて,それぞれのシャボン膜に代わる代わる映像を結像させるデモを行っていた。
 ちなみにシャボン膜の厚さは約700nm程度。シャボン膜が薄膜として状態維持出来る時間は約5分程度だそうで,スクリーンとしてはやや安定性に問題がある。そのため,現在ではポリエチレンをはじめとした合成樹脂(薄膜ポリマー)などが使えないか検討しているという。

同一シャボン膜に3方向から異なる映像が投射されているにもかかわらず,映像が混合しないで3方向からちゃんと異なる映像がくっきりと見える。超音波によりシャボン膜に鏡面反射特性が与えられているのだ
画像集#020のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#021のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#022のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

デモシステムの仕組み。頭上のプロジェクタから映像を投射し,シャボン膜には超音波照射モジュールから超音波が当てられている
画像集#023のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#024のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 「シャボン膜をスクリーンに?」と,この研究を荒唐無稽な研究と思う人もいるしれないが,液体を用いた光学制御は,実は先端技術研究において盛んな分野だったりする。Philipsなどは,液体レンズ技術(エレクトロウェッティング技術)を使って光学ドライブ用のレーザーの集光レンズを実用化しようとしていたし,ソニーやLiquavistaも液体レンズを応用したディスプレイ技術の特許を出願している。

超音波を当てるシャボン膜を切り換えて動的に透明不透明を切り換えることで結像位置を制御できる
画像集#025のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#026のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#027のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 今回は映像表示用のスクリーンとしての活用が提案されていたが,「普段は透明で使用目的によっては磨りガラスのように不透過にする」といったような応用は多方面で有効利用できそうだ。今後の展開も楽しみな研究だと言える。


SplashDisplay: Volumetric Projection using Projectile Beads

電気通信大学・大学院情報システム学研究科・小池研究室

花火のように見える不思議な3Dパーティクル型ディスプレイ

 CGを現実世界の立体物に投射することで仮想世界と現実世界を融合させたような新しい表現手法として「プロジェクションマッピング」というものが台頭しつつある。屋外の音楽公演などで,建物にプロジェクションマッピングを行う事例は,テレビなどで紹介されることも多くなってきたので,間接的に見たことがある人も多いだろう。

 電気通信大学・大学院情報システム学研究科・小池研究室が発表した「Splash Display」も一種のプロジェクションマッピングだが,Splash DisplayはパーティクルにCGを投射するという点が特徴になっている。

 E-TECHでの展示では,このSplashDisplayをTangible Bits的(実体物としては存在しないコンピュータ上のデータなどを現実世界で実際に触れるような形にするインタフェース)なゲーム仕立てで展示しており,来場者が実際にインタラクトできるところが高く評価されていた。

ブースの様子。実際のデモのスチル写真撮影は難しかったので,デモの様子については公式動画を参照してほしい
画像集#028のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)


 SplashDisplayは,無数の白い発泡ビーズが敷き詰められた小振りなダイニングテーブル程度(90cm×60cm)の台と,その直上にプロジェクタが設置されているシステムだ。プロジェクタから,白い発泡ビーズに向けて的となる映像が投影されており,来場者は,白い発泡スチロールのキューブをその的に向かって放ることになる。
 投げたキューブがうまく的に当たるとと,効果音と共にドカーンと爆発し,無数の発泡ビーズが噴水か花火のように勢いよく飛び上がるのだ。しかも,白色の発泡ビーズが美しい虹色のような煌めきを伴うため,あたかも花火が打ち上がったように見えるのだ。

SplashDisplayシステムの概念図
画像集#030のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
 SplashDisplayの仕組みはこうだ。
 まず,投げた発泡スチロールキューブの位置は,直上の赤外線カメラによって取得される。肉眼では見えないが,テーブル側面からパーティクル面ギリギリに赤外線が平面状に照射されており,キューブがパーティクル面に着地する瞬間,赤外線反射光を直上の赤外線カメラで取得するわけだ。攻撃対象のCGエフェクトと,このキューブ着弾地点が合致していれば「命中」として判断されるのである。
 爆発したときのパーティクル噴出は,エアポンプによるものではなく,直径26cmのサブウーファスピーカーユニットによって実践される。可聴範囲外の10Hz以下の重低音超音波を勢いよく出力することで,発泡ビーズを勢いよく噴出させているのだ。スピーカーの上にたまった埃や砂粒が,音が鳴る都度ポンポン跳ねている光景を見たことがあるかもしれないが,あの現象を応用しているわけだ。担当者によれば,エアポンプなどを用いるよりもハイレスポンスで動作時の雑音が少ないことから,この方式を選んだとのことだ。

画像集#031のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
横方向に配列された赤外線LEDアレイ。投げ込まれたキューブの位置測定用の赤外線光源だ
画像集#032のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
直上には赤外線カメラ(左)と,攻撃対象のCGエフェクトやゲーム画面投射用の水銀灯光源のDLPプロジェクタ(BenQ製「MP624」)が組み付けられている

パーティクルの噴出をある程度狭める目的と,重低音をプレイヤーに聞かせないために,スピーカーユニットの上には直径5cmの開口部を設けた厚さ5mmの板(青い丸い板)が組み付けられていた
画像集#033のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)
 ランダムに動くCGエフェクトの位置からパーティクルが噴出するということは,動くCGエフェクトと,このスピーカーユニットは動きが同調していることになる。これには,指定した座標に最短経路で移動する電動のX-Yテーブルが用いられていた。

 このX-Yテーブルは高価な産業用製品ではなく,なんと研究グループで自作したものだという。しかも,スピーカーを縦横無尽に移動させるために必要なX軸,Y軸移動用の動力源は実はホームセンターで市販されている電動ドリルを流用しているというから驚きだ。2つの市販の電動ドリルの回転軸にボールネジ(ネジ溝が刻まれている太い棒。棒に組み付けられた台座が,棒の左右への回転で前後に移動する)を組み付けてX-Yテーブルを実現しているとのこと。
 正確な座標移動制御に欠かせないロータリーエンコーダも自作で,電動ドリルが回転するときのキュイーンという音を掻き消すためのサイレンサーは牛乳パックだというから,凄まじいDIY魂である。

 噴出されたパーティクルへのキラキラと美しいCGの投射は,イーエスプラスが販売中のマイクロレーザープロジェクタ「seeser」で行っている。水銀灯やLEDを光源にしたDLPプロジェクタなどよりもレーザープロジェクタのほうがパーティクルに投射された映像の原色の煌めき度が鋭いので,あえてこれを選択したのだという。

パーティクルへのCG投射はレーザープロジェクタを使用。小型のものはイーエスプラスのseeser。輝度を稼ぐためにBenQの据え置き型レーザープロジェクタ「LW61ST」を併用
画像集#034のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#035のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

X-Yテーブルの動力源はなんと電動ドリル。一番右の写真にあるのは同型のものだ
画像集#036のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#037のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3) 画像集#038のサムネイル/3枚の液晶パネルで多視点対応の裸眼3D立体視を実現。SIGGRAPH 2012「Emerging Technologies」展示セクションレポート(3)

 新しいプロジェクションマッピングのスタイルの提案であると同時に,ゲーム性も高かったことが評価され,このSplashDisplyはフランスのバーチャルリアリティカンファレンス「LAVAL2012」で「3D Games and Entertainment」部門に入賞したとのこと。
 研究グループは,このSplashDisplayを,両手の平に載るくらいのコンパクトにしたものも開発中という。卓上Tangible Bitsゲームとして公開されるのだろうか。楽しみだ。

「Emerging Technologies」展示セクションレポート(1)

「Emerging Technologies」展示セクションレポート(2)

  • この記事のURL:
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
スペシャルコンテンツ
注目記事ランキング
集計:11月24日〜11月25日