オススメ機能
Twitter
お気に入り
記事履歴
ランキング
お気に入りタイトル/ワード

タイトル/ワード名(記事数)

最近記事を読んだタイトル/ワード

タイトル/ワード名(記事数)

LINEで4Gamerアカウントを登録
[SIGGRAPH ASIA]イラストに意味付けしてディープラーニングさせるとなにができるのか
特集記事一覧
注目のレビュー
注目のムービー

メディアパートナー

印刷2015/11/04 12:29

イベント

[SIGGRAPH ASIA]イラストに意味付けしてディープラーニングさせるとなにができるのか

ミドルウェア/開発ツール
 2015年11月2日,兵庫県・神戸国際展示場で「SIGGRAPH ASIA 2015」が開幕した。SIGGRAPHといえば,グラフィックス関連の世界的学会として著名だが,そのアジア版が始まったのが2009年のこと。横浜で初開催され,その後アジアの各国を回ったのち,今年は再び日本での開催となった。
 ここでは開催初日のセッションで,テーマごとに短めの発表を集めたTechnical Briefシリーズのなかから東北大学の齋藤真樹氏と東京大学の松井勇佑氏による「Illustration2vec:A semantic vector representation of illustrations」と題された講演を紹介してみたい。

左から松井勇佑氏,齋藤真樹氏

 さて「イラストのベクトル化」というタイトルだけを見るとちょっと勘違いしてしまいそうなのだが,ここでいうベクトルとは“セマンティックなベクトル”のことで,イラストの意味的な方向性のことを指している。
 意図としては,「イラストを描くときに参考になる画像を探したい」ということのようだが,世の中には“そのイラストがどんなイラストか”をまとめたようなデータベースは存在しない。そこで,最近ディープラーニング関係で話題のCNN,つまり「Convolutional Neural Network」(畳み込みニューラルネットワーク)を使ってそのようなデータベースを作ってやろうじゃないかというのが講演の主旨である。

ミドルウェア/開発ツール

 作業手順として必要になるのは,まずイラストへの意味の付与,平たく言うとタグ付けである。今回の研究では,

  • General
  • Character
  • Copyright
  • X Rating

の4ジャンルでさまざまなタグを付けている。
 例に挙げられた初音ミクの公式立ち絵の場合を見ると,

  • General 1girl aqua hair skirt
  • Character hatsune miku
  • Copyright vocaloid
  • X Rating safe

のようにタグ付けされている。絵の特徴的な部分はすべてGeneralで扱い,あとはキャラ名などの特殊情報を扱うだけのようなので,実質General部分が肝にはなるようだ。

タグ付けの例。かなり余談だが,“vocaloid”となっているCopyrightのタグだが,ボーカロイドでもクリプトンとそれ以外で扱いは違うので,PCLかどうかで分類するほうがよいのではないだろうか
ミドルウェア/開発ツール

 これらのタグをX Rating以外は512個ずつ作成し,総数1539個のタグを収集した130万枚のイラストに適用したのだという。初期データはマルチレイヤー型のニューラルネットワークで作成し,それを機械学習に向いたCNN型に置き換えていく方式が採用されている。130万点のイラストへのタグ付けは,当然ながら自動処理で行っているとのこと。

ミドルウェア/開発ツール

 このようなデータベースがあるとどんなことができるのだろうか。処理の実例を見てみよう。

入力されたイラストに対して自動でタグ付けされたところ
ミドルウェア/開発ツール

 それなりに的確にタグ付けされていることが分かるだろう。種として入力された基本データベースが機械学習を繰り返すことにより,絵のパターンとタグ,すなわち絵の意味とを結び付けるようになったわけだ。

さまざまな実装での評価。なお,Simonyanという萌えキャラの名前っぽいのはオックスフォード大学の先生の名前。VGGはオックスフォード大学のVisual Geometry Groupの提唱する処理方式,NINはNetwork In Networkという別の手法の略
ミドルウェア/開発ツール

類似画像検索の例(見る方向は縦)。左から2番めはキャラクターは違うものの似た感じのキャラが選ばれている。左から4番めは絵柄は違うが同じキャラ,右から2番めは似た構図の絵が選ばれているとのこと
ミドルウェア/開発ツール

両端の画像を指定してモーフィングを行った例。2頭身のネコミミキャラからリアルタッチのキャラが補間されている
ミドルウェア/開発ツール
こちらは同じキャラで等身が低いものから高いものへとモーフィングが行われているところ
ミドルウェア/開発ツール

Googleの悪夢画像のようなものも作れる
ミドルウェア/開発ツール

 こういうものによってイラストを描くときの参考画像が簡単に探せるようになるとのこと。なんとなくストックフォトサービスで使うほうが多くの人に喜ばれそうな気はするのだが,イラストにこだわるところが日本ならではなのかもしれない。
 なお,この研究では公式サイトが用意されており,デモページも利用できる。使い方は簡単で,なにかのイラスト画像を「Upload」と書かれた欄にドラッグ&ドロップするだけだ。

 試しということで,たまたま目に付いた「剣戟のソティラス」からリディアさん(初期型)の絵を切り取って入れてみた。

ミドルウェア/開発ツール

 「武器持ってますね?」あたりはともかく,トリミング範囲には柄しか入っていない「剣持ってるでしょ?」と言ってくるあたりが鋭い。絵柄から判定できることではないので,ネット上のイラスト画像をクローリングしまくって元画像をデータ化しているのかもしれない。
 続いて,Web上にあまりデータが転がっていないであろう物吉貞宗君(「刀剣乱舞-ONLINE-」を入れてみる。多少不安はあったのだが,ちゃんと男の子と認識されているようだ。25.8%で「女の子かも?」と言ってきているのも,それなりに的確な判断ではないだろうか。しかし,物吉君はちゃんと刀を持っているのだがこちらは見事にスルーされている。鞘に入った脇差で,文字がかぶっているので仕方ないところだろうか。
 ということで,我々とはあまり縁のなさそうだった最先端研究が少しは身近な感じで楽しめるサイトになっている。興味のある人は試してみるのもいいのではないだろうか。

  • 関連タイトル:

    ミドルウェア/開発ツール

  • この記事のURL:
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
トピックス
スペシャルコンテンツ
注目記事ランキング
集計:11月20日〜11月21日
タイトル評価ランキング
81
KENGOHAZARD2 (PC)
76
鬼ノ哭ク邦 (PC)
74
73
DEATH STRANDING (PS4)
56
Epic Seven (iPhone)
2019年05月〜2019年11月