［CEDEC 2013］写真から高精度な3Dデータを作る「リアリティキャプチャー」が，ゲーム開発者にも手の届くところにやってきた

Autodeskテクニカルスペシャリスト マネージャーの門口洋一郎氏

　「CEDEC 2013」初日の8月21日には，グラフィックスツールメーカーであるAutodeskが，「リアリティキャプチャー最新事情」というセッションを開催していた。なかなか興味深い内容だったので，その概要をレポートしたい。セッションを担当したのは，Autodeskのテクニカルスペシャリスト マネージャーを務める門口洋一郎氏である。

空撮写真を使った，大規模なリアリティキャプチャーの例

　「リアリティキャプチャー」という言葉に，馴染みがない人も多いだろう。要は，「現実にある物体から，高精度なモデリングデータを作り出す」ことだと思ってもらえればいい。なにも最近出てきた概念というわけではなく，古くから3Dスキャナやレーザースキャナなどで使われていたものだ。
　従来のリアリティキャプチャーは，高価な機材と膨大なデータ処理が必要であるため，ゲーム開発で気軽に使えるようなものではなかった。しかし，最近では膨大なデータ処理をクラウドで行うソリューションが出てきたため，驚くほど高度な処理が，手軽に使えるようになっている。

　工業デザインなどでも広く使われるAutodesk製品では，そういった分野で使えるツールの開発も行っており，今回のセッションは，こうしたツールを紹介する場でもあったわけだ。

リアリティキャプチャーで得られた「ポイントクラウド」を

扱うツールが多数披露される

　門口氏のセッションで解説されたのは，後述する「ポイントクラウド」を手軽に扱うソリューションと，写真を元に高精度なデータを扱う方法についてだ。「Autodesk 360」というクラウドサービス上に，これを行うツール「Autodesk ReCap Photo」（以下ReCap）が実装されている。

3Dデータを作る「Autodesk ReCap」（左）のうち，写真から3Dデータを作るWeb上のサービスが「Autodesk ReCap Photo」（右）だ。クライアント版の「Autodesk ReCap Studio」も発売される予定

　クラウドを使ってこのような処理を行うシステムとして，Autodeskは入門者向けの「Autodesk 123D」（以下，123D）を無料公開している。そちらを知っている，使ったことがあるという人も，いるかもしれない。ReCapは123Dに含まれるアプリのうち，「123D Catch」を発展させたようなものだ。

ReCapは123Dの上位版といった感じのサービスで，扱えるデータ量が格段に増えたことで，非常に高精度なデータも生成できるようになっている

　さて，レーザー計測などで得られる結果は，3次元座標の塊で頂点だけのデータ，いわゆるポイントクラウドとなっている。これをそのままポリゴン化すると，それはそれは膨大なデータ量になってしまい，まったく実用的ではない（表示するだけなら不可能ではないが）。また，ReCapを使って3Dオブジェクトに変換すると三角形ポリゴンになるが，モデリング素材として使うには，Autodesk製品で使われている四角形ポリゴンにしたうえで，ポリゴン数削減を図ることが望ましい。

　こうした処理を行うAutodesk製品が，3Dモデルの加工を行うツール「Autodesk Mudbox」だ。Mudboxの「リトポロジー」（トポロジー再構築）という処理で，ポリゴン数を減らしたり，四角形ポリゴンへの変換ができるのだ。講演ではMudboxを使い，こうした変換を行うときのの手順などが紹介された。

レーザースキャンされたポイントクラウドをMudBoxでリトポロジー＆ポリゴン削減した例。単純な変換なのでディテールは失われているが，ポリゴン数は劇的に減っている

リアリティキャプチャーで得たデータを修正するツール「Project Memento」も提供されている

　また，レーザー計測で発生しがちなノイズや形状の穴などを補正するための研究も，Autodeskでは行われている。
　Autodeskの研究開発部門「Autodesk Labs」が手がけた「Project Memento」がそれで，簡単な操作でデータの補修が可能だという。
　講演では，レーザー計測したポイントクラウドをProject Mementoのツールで補正して，Mudboxでローポリ化するといった手順が説明された。

ポイントクラウドを3ds Maxで使うテクニックを紹介

　今までなら，さまざまなツールを組み合わせて，3Dツールで扱いやすい形に加工する必要があったポイントクラウドだが，これを3Dツールで直接扱うことも可能になりつつある。現在では，「Autodesk 3ds Max」（以下，3ds Max）でポイントクラウドを直接扱えるようになっているほか，「Autodesk Maya」用に作られているという，インポートツールも紹介された。今後提供されるようだ。
　ただし，これらの3Dツールに取り込まれたポイントクラウドは，そのままレンダリングされるわけではない。今のところは，「モデリング時のリファレンスとして扱う」という位置付けにすぎない。

　講演では3ds Maxを使って，ポイントクラウドをポリゴン化する手法も披露された。3ds Maxに読み込んだポイントクラウドに，モデリング時の3Dポインタが“吸着”するように設定すると，画面に表示されたデータを簡単にポリゴン化できるのだ。
　実演されたデモでは，画面上に表示されたポイントクラウドにマウスで線を引くと，ポイントクラウドの表面をなぞるように線が引かれていた。こうして何本か引いた線を元にポリゴンを生成すれば，元のポイントクラウドに近い形状のポリゴンデータが簡単に作れる。Mudboxで自動的にローポリ化するのは手軽だが，もっと細部にこだわってモデリングしたい場合には，3ds Maxが使えますよというわけだ。

アメリカ大統領の彫像で有名なラシュモア山のポイントクラウドを3ds Maxに読み込み，これを見本にポリゴン化しているデモ。顔の上をなぞるように7本の横線を引くと，あとは自動でポリゴン化できる

写真からポイントクラウドを作り，

高精度なモデルデータを生成することもできる

　ReCapには，レーザー計測のデータ処理だけではなく，様々な角度から撮られた写真を素材に，ポイントクラウドの3Dデータを自動生成する機能もある。
　やり方はわりと簡単で，データ化したいオブジェクトを様々な角度から撮影し，その画像データをReCapに送って処理するだけだ。レーザースキャナのように特殊な機材は，誰にでも使えるわけではないので，少し手軽な解決策も加えたというところだろう。

いろいろな角度から撮影された写真を素に，形状を再現したポイントクラウドを生成する

　素材用の写真を撮るときに，「どのように撮影すれば，精度の高いデータを生成できるのか」といった，撮影の注意点も説明された。ReCapは写真からオブジェクトの特徴点を識別して比較するので，たとえば真正面と真横の写真といった具合に，写っている絵があまりにかけ離れていると，正確に判定できない。角度にすると，5〜10度ごとに撮影しておくのがいいとのことだった。つまり360度全方向のデータを得るには，最低36枚くらいは撮っておく必要があるわけだ。
　それに加えて上や下からの写真もあれば，横からの写真だけでは見えない部分が減らせるので，上下の角度を変えて撮っておくのも望ましいようだ。露出なども固定して撮影することが望ましく，テクスチャ精度が必要な部分は望遠は使わずに，「寄って撮れ」とのことだった。

仏像の膨大な写真を元に生成された3Dデータの例

仏像の3Dデータを拡大したスライド。かなり細かい凹凸や遮蔽部も精密に再現されていることが分かる

模様のない面や光沢物には適さない。写真中央のマウスは，適さない対象の見本だ

　ただし，写真によるポイントクラウドに適さない物体もある。たとえば，透き通った物体はうまくいかない。また，特徴点が取れない無地の壁などもにも向いていないので，マーカーを加えるといった工夫が必要だろう。鏡面反射するような光沢物も，特徴点が写真ごとに変わってしまうので，正確な判定ができないそうだ。

　当然ながら，動いている物体も適さない。人物もその意味では向かない対象物と言えそうだが，人物は1台のカメラで何回も撮るのではなく，多数のカメラを使って一度に撮る方法がお勧めとのこと。ちなみに，人物をレーザースキャンするとノイズが多くて処理が大変なので，複数のカメラを使うほうが適当なのではないかと，門口氏は述べていた。

人物の写真を多方向から一度に撮るシステムの例。中央の顔が被写体で，周囲に見えるライトのような物がカメラだ

多数の写真から形状とカラーデータを得て，生成された胸像のモデルデータ。なかなかリアルにできている

こちらは写真から生成したマッピングデータ。写真が元なので，肌の色や血管，しわやほくろも再現できるだろう

最終的なレンダリングデータ。形状だけでなく顔の細かい部分まで緻密に再現されているのが分かる

　さて，カメラによって撮影されたテクスチャは非常に高品質なのだが，3Dデータ用のテクスチャとして使うには，実はいろいろと問題がある。撮影環境のライティングが，そのまま反映されてしまうからだ。たとえば，物体の上に影が落ちていると，テクスチャにも影がそのまま描き込まれてしまう。ゲーム内で出てくるキャラクターやオブジェクトに，ゲームの光源とはまったく違う向きの影が描かれていたら，なまじ他がリアルな分だけ興醒めするだろう。

LightBrushの使用例。ライティング効果のないテクスチャを作れる

　ゲームではゲーム内の光源でライティングしたいのだから，テクスチャにライティング情報はないほうが望ましく，そのためには，テクスチャからライティングの影響をなくす必要がある。しかし，Autodesk自身はそのためのソリューションを持っていないので，門口氏はTandent Vision Science社のツール「LightBrush」を使うことを推奨していた。LightBrushを適切に使うと，写真からライティングの影響を排除したテクスチャを，簡単に生成できるそうだ。

　講演の最後にはまとめとして，恐竜の模型を写真撮影して，その写真をReCapでデータ出力し，Mudboxでポリゴン化したうえで，3ds Maxでアニメーション用の「リグ」を割り当て，歩かせるまでのデモが実演された。

撮影したデータをReCapへ登録すると（左），こんな感じでデータ化される（右）

Mudboxでポリゴンを削減すると，モデルデータはこうなる

法線データだけを，Mayaで生成したものに差し替えているところ

3ds Maxで4脚アニメーション用のリグをつけると……

写真から作った恐竜が歩いた！

　講演を通してみた感想を述べると，複雑な形状では遮蔽部が多くて，写真を元に完全再現するのは，さすがに難しそうだった。しかし，ほとんどの物体は十分な枚数の写真さえ用意できれば，この方法でオブジェクトを生成できるように思える。パッと見では見えない部分の詳細は，オブジェクトを生成するに当たって重要ではないので，そこは簡略化しても問題ないという理由もあるだろう。

　まとめると，ReCapは現実にある物体からデータを作るのに，非常に有用なサービスである。現在試験提供中なので無料で利用できるというのも利点だ。ReCapを含むAutodesk 360のサービスは，誰でも登録できるので，興味のある人はぜひ試してみてほしい。

Autodesk ReCap PhotoのWebページ（英語）

CEDEC 2013 公式Webサイト