CEDEC 2019の初日となる2019年9月4日，
「AD&ADASシステムとゲーム開発技術の融合」というセッションが行われた。ADとは
Automated Driving（自動運転）の，ADASとは
Advanced Driver Assistance System（運転支援システム）の略で，現在の自動車業界における，もっとも大きな話題の1つを取り上げたものだ。
登壇したのは世界有数の自動車部品メーカーであるデンソーの，
小口貴弘氏と
服部陽介氏だ。ゲームに直接関係がある話ではないのだが，ゲームエンジンとして有名な
「Unreal Engine」とAI技術を活用したADAS開発の実例が紹介されるなど，ゲーマーにとっても興味深い内容だった。
デンソー AD&ADASシステム開発部 課長の服部陽介氏（左）。AD&ADASシステム開発部 担当係長の小口貴弘氏（右）
 |
 |
AD＆ADASの開発に欠かせない仮想環境
デンソーは本社が愛知の刈谷にあるメーカー。服部氏によれば，品川の
「Global R&D Tokyo」は，AD＆ADAS技術開発を中心に進めているという。AD＆ADASの開発を都内に設けているのは「世界の人々とやり取りを行う必要があり，その点で東京は利便性が高い」という理由によるものだそうだ。
Global R&D Tokyoでは，下のスライドに示されている4つの分野の技術開発を進めており，AD＆ADAS開発はその1つになる。
デンソーのGlobal R&D Tokyoで力を入れて開発を進めている4分野。右上の赤で囲まれているのがAD＆ADAS開発である
 |
デンソーだけでなく，世界中の自動車および自動車関連メーカーが開発を競っているAD＆ADASとは，いったいどういうものなのかを示したのが下のスライドだ。運転中のドライバーが行う認知，判断，操作の一部を肩代わりするのがADAS，すべてを肩代わりするのがADとなる。
AD＆ADASのアーキテクチャ。ドライバーが行う認知，判断，操作の一部を肩代わりしたり支援するのがADAS，すべてを肩代わりするのがAD
 |
AD＆ADASは
「人命を預かる」という性質上，品質の確保が非常に重要だと服部氏は強調する。その品質を高めるためになくてはならないのが，
「仮想環境」の活用だ。デンソーではどのように仮想環境を活用しているのか，具体例を紹介したのが小口氏だった。
小口氏によれば，デンソーでは3つの柱でAD＆ADASの品質確保を図っているという。そのうち，
「公道の走行」と
「テストコースでの評価」は実車を使ったもので，それらに加えて，仮想環境を活用して品質確保と開発の効率化を図っているのだ。
デンソーでは実車を用いた公道走行やテストコースでの評価を通じてAD＆ADASの品質確保を図ると同時に，仮想環境を活用して効率を上げている
 |
実車による検証はもちろん非常に重視されており，実車を使った開発には積極的に取り組んでいる。テストコースは北海道の網走と愛知県の額田にあり，さらに，2020年の完成を目指して「羽田テスト路」の建設中が進められているという。
デンソーのAD&ADAS開発向けテスト車両。このような「センサーてんこ盛り」（小口氏）の車両を使ってテストコースや公道での試験を行っている
 |
デンソーが運用しているテストコースや実験施設。東京の「羽田テスト路」は2020年から運用が始まる予定だ
 |
とはいえ，実車を用いた開発だけでは限界があるという。
小口氏はテスラのCEO
イーロン・マスク氏の「自動運転の信頼性を確保するには
60億マイルの走行が必要」という発言を引用し，実車の走行だけでは到底不可能とだ説明していた。イーロン・マスク氏の見積もりが実際のところどの程度真実なのかという疑問はあるものの，テストのために長い距離を走る必要があるのは間違いないだろう。それを補完するための仮想環境は，AD＆ADAS開発になくてはならないものになっている。
イーロン・マスク氏は，自動運転の信頼性を担保するために60億マイルの走行が必要だと述べている。スライド右側にあるように，100台の実験車が1日500km走っても，走り終えるのに550年かかる
 |
駐車場の仮想モデルを「Unreal Engine」を用いて制作
仮想環境の最初の例として紹介されたのが，駐車場のモデルだ。モデルの制作には冒頭にも書いたようにEpic Gamesの「Unreal Engine」が使われており，ゲーム開発などを行うスタジオORENDAと共同で作業にあたっているという。
ゲームでも実績のあるスタジオ，ORENDAと共同で制作した駐車場のモデルが紹介された
 |
制作された仮想駐車場は，実在する駐車場をモデルにしており，イギリスのSimul Softwareが開発した天候生成技術
「trueSKY」を使って，さまざまな天候や時間帯を再現できるという。
「Unreal Engine」と「trueSky」」を使った仮想駐車場では，さまざまな天候や時間帯が再現できる
 |
このほか，立体駐車場の設計などを手がける企業，駐車場綜合研究所に駐車場の図面を発注し，それをもとに駐車場のモデルを制作するといったことも行っているという。
さて，こうして作られた仮想駐車場がどのくらいリアルなのかが気になるところだろう。下のスライドは，AD＆ADASのAIを使って映像の特徴点を抽出したもので，AIはおおむね現実の駐車場と仮想の駐車場で同じ特徴点を抽出していることが分かる。つまりAD＆ADASのテストでは，仮想の駐車場はほぼ現実の駐車場と同じように活用できるのだ。
AIが特徴点を拾ってマークを入れた映像。左が現実の駐車場で右が仮想の駐車場だ。AIはおおむね同じ特徴点を抽出している
 |
AD＆ADAS開発では，こうして制作したモデルの中で仮想の車を走らせることになる。この場合，仮想の車が仮想空間を捉えるセンサーも仮想化する必要があるが，この点で小口氏が注目しているのが，最近のGPUに搭載され始めた
レイトレーシングを使ってセンサーを近似する手法だ。速度と再現性を合わせ持ったセンサーのモデルができるのではないかと期待しているという。
「理想センサー」は仮想空間の情報を100％捉えるエラーのないもので，速度は早いが現実のセンサーとは異なっている。「誤差近似モデル」は理想センサーに現実のセンサーの誤差をかけ合わせたシンプルなシミュレーションだ。小口氏が注目しているのはその次の段階であるレイトレーシングを使ったセンサーの仮想モデルだという
 |
カメラセンサーの仮想化では，実際の駐車場を3Dスキャナで走査して得たデータと仮想モデルから得たデータを比較して，同じようなカメラセンサーの出力が得られるように調整しているという。
「Unreal Engine」の物理ベースレンダリングを用いているため，
レンズの歪補正といった処理が容易に行えるため，現実のカメラセンサーを仮想空間でリアルタイムにシミュレートできるようになったと小口氏は説明した。
仮想カメラセンサーは，現実のカメラセンサーの出力に限りなく近づける工夫を行っている
 |
さまざまな工夫を施してはいるものの，それでも
「仮想の世界は，現実の世界と完全に同じにはならない」と小口氏は言う。どう異なるのか，そして，どうやったら近づくことができるのかといった定量的な研究は，世界的にもまだ始まったばかりで，一例として小口氏は，ドイツの
ケンプトン大学が行った評価の試みを紹介した。
スライドは少し分かりにくいのだが，前方を走る車両の現実の映像と仮想の映像を使い，後者に対してエフェクトをかけ，現実の映像に近づける試みを定量的に評価した例だ。このような研究を積み重ねることが重要だという。
現実の映像と仮想の映像を使い，後者にエフェクトをかける。物体認識AIを使って両者を認識させ，どの程度合致するかを定量的に評価するというケンプトン大学の研究例
 |
Semantic Segmentationの学習用映像を「Unreal Engine」で生成
AD＆ADAS開発における「Unreal Engine」の応用例として続いて紹介されたのが，
Semantic Segmentationの
学習用映像の生成だ。
Semantic SegmentationとはAIを使った画像分類の一種で，例えば，走っているオートバイの映像を元に，オートバイとライダーを別のものとして認識するといった技術だ。
AD＆ADAS開発では，カメラで捉えた映像から走行可能な領域をリアルタイムに判断するために必要な処理と考えられており，世界中のメーカーや研究者が取り組んでいる分野の1つだ。
AD＆ADASでは，Semantic Segmentationを使ってカメラ映像から走行可能な領域を分類する必要がある。スライドに書かれているように，Semantic Segmentationでは深層学習を使うのが主流だ
 |
Semantic Segmentationの精度向上には，
深層学習（ディープラーニング）を使うのが世界的な流れになっている。小口氏によれば，ニューラルネットワークに数千枚から数百万枚といった量の分類済みの画像を与えて学習させる必要がある。
この学習用の画像を手作業で作成しようとすれば膨大な手間とコストがかかり，「ヒューマンエラーが生じる可能性もある」（小口氏）という。車載カメラで撮った映像に対して手作業でエリアを分け，タグ付けしなければならないため，間違いが避けられないのだ。
そうした学習用の画像を，「Unreal Engine」で作成するのは有効な手段だと小口氏は述べる。「Unreal Engine」のディファードシェーディングなら中間バッファを簡単に取得できるので，（走行時の）タグ付けされた映像をピクセル精度で得られるのだ。
「Unreal Engine」を使って仮想の空間を走行した映像を使いSemantic Segmentationの学習用にタグ付けされた映像を大量に生成することができる。負荷の高い手作業を抑えて，学習用映像の精度を向上させられるのだ
 |
AIを用いたTop Viewの実装を紹介
最後に小口氏はデンソーが開発した
Top Viewの実装を紹介した。Top Viewというのは車の前後左右に搭載したカメラの映像をもとに，上空から見たような映像（Top View）を作り出す技術だ。駐車場でドライバーが自分の車の位置を把握するのに役立つというADASの1つで，
HMI（Human Machine Interface）の一種でもある。
デンソーが開発したTop View。前後左右の車載カメラの映像から俯瞰映像を作り，ドライバーを支援する
 |
カメラは車の前後左右にしかないので，その映像をつなぎ合わせて俯瞰的に見せようとしても通常では歪んだ分かりにくい映像にしかならない。これをどうやって現実の俯瞰映像に近づけるのかが課題だ。
前後左右のカメラの映像をつなぎ合わせて俯瞰的に見せても，左の「Before」ような分かりにくい映像にしかならない。いかにして右のような理想的な映像を作るかがTop View開発の課題だった
 |
小口氏らが試みたのは，下のスライドのような手法だ。カメラからの映像をもとに
Structure from Motion（SfM）という技法を使って車の位置やほかオブジェクトの距離を推定し，それをもとにTop Viewを描こうというもので，この方法だとカメラに写っていない部分に穴（Occlusion）が空いてしまう。そこで，その穴の部分を深層学習の1つである
GANs（Generative Adversarial Networks：敵対的生成ネットワーク）を使ったAIで埋めようというアイデアだ。
4つのカメラ映像からSfMを使って立体像を得ようとすると穴が空いていしまう。そこをAIで埋めようというのが基本のアイデアだ
 |
GANsを使った映像の穴埋めにはさまざまな先行事例があり，小口氏らはその中から
IntroVAEというアルゴリズムを採用した。GANsの学習のために穴開きのTop View画像と，穴が埋められた正解のTop View画像が必要になるが，これを現実世界で大量に集めようとすると，かなりの手間がかかる。そこで，その映像の生成に仮想環境を活用したのだ。
AIの学習には，穴あきの映像と穴が埋まった映像が必要になる。現実世界で映像を集めようとすると，例えばドローンを使った空撮などが必要になるが，小口氏らは仮想環境を使って学習用の映像を生成したという
 |
そのようにして学習したIntroVAEでTop Viewを作成しようとしたが，残念ながらあまりうまくいかなかったという。Top Viewの穴埋めはGANsによる欠け映像の推定だけでは対応できず，Top Viewの開発は難航した。
3列の中央がIntroVAEの出力だが，遮蔽部分にある自動車の姿が薄れたり，完全になくなってしまったりした
 |
壁にぶつかっていたちょうどそのとき，輪郭を推定する
EdgeConnectというアルゴリズム発表されたという。詳しくはリンク先を見てほしいが，基本は輪郭を推定してつなぐというものだ。
これとGANsによる穴埋めを組み合わせることで，実用的なTop Viewを完成させることができたという。下が完成したTop Viewで，車庫入れ時の映像だが，カメラから完全に遮蔽されたところにある車は消えてなくなるが，かなりいい具合の俯瞰映像が得られている。
車庫入れ時のTop View。車庫入れが完了すると，2台隣の車は完全にカメラから遮蔽されるので消えてなくなる。とはいえ，ドライバーの役に立つレベルの俯瞰映像が得られていることが分かる
 |
 |
以上が発表は終了したが，最後に小口氏は，デンソー入社前はコンシューマゲーム機の開発に携わっていたという自分の経歴を紹介し，CEDECの来場者に対し，「自動運転の開発ではゲーム技術が欠かせないものになっています。皆さんにも，ぜひ興味を持ってほしい」と呼びかけて講演を締めくくった。競争が激化するAD＆ADAS開発現場だけに，今後，ゲーム業界からの参入も盛んになるかもしれない。
つぶやく
2019/09/07 21:26
Unreal Engine
