［SIGGRAPH ASIA］360度ビデオを撮影できるヘッドフォン型全周カメラ「JackIn Head」を体験してみた

　Oculus VRの「Rift」やソニー・コンピュータエンタテインメントの「PlayStation VR」といった仮想現実（以下，VR）対応型のヘッドマウントディスプレイ（以下，VR HMD）が「ありふれた機器」として普及するには，ゲームだけではなく，「ゲーマー以外の一般ユーザーが気軽にVRコンテンツを体験，制作できるような環境づくりが必要だ」という意見がある。
　たとえば，ビデオカメラはありふれた家電であり，撮影した映像をテレビで見るのは簡単だ。これくらい簡単にVRコンテンツを作って見られるようにならないと，VRは限られたユーザーだけのものになってしまうのではないかと，いうわけだ。

リコーの360度カメラであるTHETA S。10月23日に発売された新機種で，360度全周の静止画に加えて，フルHD解像度相当のビデオ映像も撮影できる

　そんな状況にあって，簡易的なVR映像体験を制作する手段として有望視されているのが，360度の全周映像を撮影するカメラである。360度カメラといえば，10月に発売されたリコーの製品「THETA S」が話題になっているので，購入を検討しているという人もいるのではないだろうか（関連リンク）。ここではTHETA Sとはちょっと違ったアプローチによる360度の全周映像撮影用カメラ「JackIn Head」が，SIGGRAPH ASIA 2015の先端技術展示会場「Emerging Technologies」（E-TECH）で披露されていた。その概要をレポートしよう。

頭につけていても不自然さがない360度カメラ

GoProのカメラを複数組み合わせて，一脚に取り付けた360度撮影カメラ。これは，COMPUTEX TAIPEI 2015のIntelによる基調講演で披露されたものだ

　現在，360度ビデオを撮影するための機材には，THETA Sのような専用のカメラのほかに，GoPro製アクションカムのような広角撮影に対応する小型カメラを複数台用意して，それらをアタッチメントに取り付けるシステムが存在している。ただ，複数のカメラで撮影した映像ストリームをつなぎ合わせる（※スティッチという）するのは大変だし，複数の映像ストリームを処理するプロセッサ性能やメモリ容量も相当なものになる。

　その点，前後に搭載した2つの魚眼レンズカメラを備えるTHETA Sは，映像のスティッチをカメラ内で処理するため，ホストPCに高い性能は必要ない。ただ，THETA Sで，常に安定した360度写真やビデオを撮影しようとすると，なるべく揺らさないように手で持つか，何かに固定する必要がある。THETAシリーズのユーザーには，ヘルメットを被ってその上にTHETAを取り付けて撮影する人もいるのだが，頭頂部にカメラを取り付けるのはいささか仰々しく，悪目立ちするのもネックだ。

JackIn Headの展示ブース。展示タイトルは「JackIn Head: An Immersive Human-Human Telepresence System」である

JackIn Headの本体。見た目はちょっと変わったヘッドフォンという印象

　E-TECHで披露されたJackIn Headは，THETA S並みに手軽で，THETA Sの抱える問題点を解決してくれそうな撮影システムである。開発に携わったのは，ソニーコンピュータサイエンス研究所の笠原俊一氏と，東京大学大学院情報学環の暦本純一教授だ。

　JackIn Headは，ボディ形状が大きなヘッドフォンのようなデザインとなっているのが特徴である。目立ちはするが，これなら装着していても，変な人扱いはされなさそうだ。それくらい，いい意味で「普通」なデザインをしているといえよう。
　THETA Sと同様，JackIn Headもカメラには，魚眼レンズを2つ使った2眼式を採用している。ただ，THETA Sがレンズを本体の前後に装備しているのに対して，JackIn Headはそれを左右に装備しているのが分かりやすい違いだ。

JackIn Headの展示機を装着した状態。見た目は派手なヘッドフォンという感じだ。ヘッドフォンでいうエンクロージャの部分に，魚眼レンズカメラが搭載されている

　ヘッドフォンでいうエンクロージャの部分の左右に取り付けられたカメラは，ソニー製のアクションカムをベースに魚眼レンズを組み合わせたものだとのこと。2つのカメラで撮影した映像を合成するつなぎめ（スティッチポイント）は，装着者の真正面から真後ろに向かって垂直に発生しているはずなのだが，つぎはぎ感はほとんど感じられない。この辺りはうまくチューニングできているようだ。

2つのカメラで撮影した映像をスティッチするPC用ソフトウェアの画面

　JackIn Headで撮影した動画がYouTubeで公開されている。動画をマウスでドラッグすると，360度の映像が見られるようになっているのだが，残念ながら360度ビデオは埋め込みに対応していないようなので，興味のある人は以下のリンクからビデオを参照してほしい。自然な感じで左右の映像が合成されているのが分かるはずだ。

JackIn Headで撮影された360度ビデオ

VR酔いを防ぐための機能を盛り込む

　JackIn Headには，撮影した360度ビデオをVR HMDで見たときに，安定した没入感が得られるようにするためのユニークな機能がPC用映像生成ソフトウェアに用意されている。

　たとえば，JackIn Headを装着した撮影者が，360度ビデオを撮影しながら歩いているとしよう。撮影者が，歩きながら首を回して横を向いたとすると，撮影中の全周映像は，ぐるりと横に回転することが容易に想像できる。だが，VR HMDを装着したユーザーが，この撮影映像を見ていた場合，撮影者が横を向いた瞬間，ユーザーの意志とは無関係な視界の回転を体験してしまう。
　これでは気持ちの悪いVR体験となりかねない。こうならないように，撮影者が撮影中に左右を向いたとしても悪影響を与えないよう，360度ビデオを見ているVR HMDのユーザーの見たい方向を，常に見せ続ける必要があるのだ。

　これを実現するために，JackIn Headでは撮影されている映像を分析し，特徴点を探して追跡する機能を導入している。この仕組みにより，JackIn Headを身につけた撮影者がどこを向こうが，360度ビデオを見るユーザーが見たい方向の視界を，特徴点基準で判定して表示できるそうだ。
　ブースの担当者によれば，この特徴点の抽出は，上下の揺れ低減，いわゆる手ぶれ補正的な効果にも使えるだろうとのことであった。

全周映像から特徴点（画面右のドット群）を抽出し，それを追跡している様子

　ブースで披露されたデモは，JackIn Headを装着した撮影者の視界を，VR HMDで見るというものだった。筆者も実際に体験してみたが，撮影者が筆者の前にいたので，自分の姿を，他人の視点で見られるという，なんとも不思議な体験ができた。
　鏡で自分の姿を見ても，鏡像は常に鏡の界面に対して面対称の像になってしまうので，他人が見ている自分の姿と同じにはならない。だが，JackIn Headでは，撮影者が見ているのと同じ自分の姿を見られるのだ。

デモの様子。写真右側で小冊子を見ている女性がJackIn Headを身につけている。その映像を左側の男性来場者がOculus VRのRift DK2で見るという内容だ

　なにより，リアルタイムな360度ビデオをVR HMDで楽しめるというのは，不思議なライブ感がある。これを利用しない手はないだろう。
　たとえば，音楽ライブでミュージシャンにJackIn Headをかぶってもらい，その状態で演奏したり歌ってもらう。その映像をVR HMDで体験できるようにすれば，ファンはまるで，そのステージに自分も立っているかのような体験ができるはずだ。

　あるいは野球の試合で，選手のヘルメットにJackIn Headの機能を搭載してみる。すると，バッターボックスに立ったバッターの視界を，ファンがVR HMDでリアルタイムに楽しむといったことが可能だ。150km/hオーバーの速球をバットでミートする瞬間や，ストライクゾーンギリギリを掠めるボールの球筋をバッター視点で楽しむこともできるだろう。

　現在のJackIn Headは，2つの魚眼レンズで全周撮影しているので，撮影される映像は必然的に2D映像になる。そのため，VR HMDで見るときも2D映像になり，立体感のあるステレオ3D映像を楽しむことはできない。しかし，搭載するカメラの数を増やして，頭部を囲むように配置すれば3D映像の撮影も実現可能だ。
　VR HMDの進化とともに，360度ビデオ用カメラも進化していくと，VRコンテンツはさらに盛り上がっていくことだろう。

GoProのアクションカムを複数搭載した，ヘルメットバージョンも出展されていた

SIGGRAPH ASIA 2015 公式Webサイト