［CEDEC 2017］分析結果をシナリオにして開発者に伝える。「モンスターハンター エクスプロア」のデータ分析が語られたセッションをレポート

　2017年8月31日，神奈川県のパシフィコ横浜で行われている「CEDEC 2017」において，「データ分析の固定観念を覆す -ユーザー体験を向上し続けるモンスターハンター エクスプロアのデータサイエンス-」と題した講演が行われた。
　この講演には，スマートフォン用アプリ「モンスターハンター エクスプロア」（iOS / Android）でデータ分析を担当するカプコン MO開発統括 オンライン運営編成部の松崎悠紀氏が登壇し，データ分析をいかに使うか，そして開発者に分析結果を伝えるための「シナリオ」手法について説明を行った。


　現代のゲーム業界，とくにソーシャルゲームの世界において，ユーザーの動向をデータから探る「データ分析」の重要度は高い。ただ，データ分析さえあればゲームの問題点は解決し，ユーザー体験の質も向上する……と考えるのは間違いだと松崎氏は指摘する。データ分析は問題点を発見，解決するのに役立つものの，ユーザー体験を改善するには開発者の直感やインスピレーションがより重要であるという。
　ゲーム制作の現場でデータ分析が必要となる理由について，主観的な判断基準だけだと，送り手と受け手の間ですれちがいが生じてしまうため，データを集めて客観的に判断することが重要であると，松崎氏はあらためてデータ分析の意義を強調した。

　すれちがいの例として挙げられたのは，「松崎氏が自作した折り紙にどれぐらいの値段を付けるか」というテーマだ。松崎氏自身は「わざわざ紙を買いに出かけたうえ，折り紙の完成までに4時間半もかかった」という理由から1800円を付けた。ところが，カプコン社員に聞いてみたところ，その値段は平均200円だったという。松崎氏の側に主観が入ったため，すれちがいが発生したわけだ。




　例え話なのでまだいいが，もしこれがゲームに登場するアイテムの価格だったりするととんでもないことになるのはわかるだろう。こうした事態を未然に防ぐためにも，正しく現状を理解する客観的視点と，その裏付けとなるデータ分析が必要なわけだ。

精度が高い＝良いデータ分析では「ない」

　ゲーム制作においてデータ分析が活用されない原因として，「分析の精度が低い」「新しい発見がない」という2点が挙げられることが多い。分析結果を使ってもらうには精度が高くなければならない。しかし，精度を上げるには時間がかかるし，あまり時間が過ぎてしまうと，施策を行うタイミングを逸し，情報そのものが不要になってしまう。まさにジレンマだ。




　モンスターハンター エクスプロアでこの問題に直面した松崎氏は，「ゲームを面白くするのに，完璧な精度は必要ない」という逆転の発想により，データ分析と開発者の発想を共に取り入れた体制を構築している。
　まずは，施策を検討するにあたってデータ分析だけに頼ることをやめ，分析精度を妥協することで，データがそろうまでの時間を短縮した。「データ分析は，ゲーム内の施策を検討する手段の一つ。ユーザーに何が必要か，その判断を効率化するもの」であると割り切ったのだ。


　データ分析の精度が下がると，その分，施策が外れるかもしれないというリスクは増すが，これを補うのが開発者の直感やインスピレーションである。ただ，直感は経験則からくる勘であり，新人とベテランでは同じようにはたらかないうえ，担当者変更などで経験の蓄積がリセットされる。また，インスピレーションは必ずひらめくわけではない……など，それぞれに不安定な要素をはらんでいる。


　そこで，両者を併用することである種のリスクヘッジ体制を構築しているという。開発者の直感やインスピレーションは不安定なので，データ分析を併用。データ分析だけですべてを解決しようとすると精度アップに時間がかかるため，開発者の発想も導入。「データ分析の精度を追求するのではなく，データを使って発想する」という考え方のもと，開発者はデータ分析で客観的に把握された問題を解決すべく，柔軟な発想に集中するというわけだ。

分析結果が伝わらない，開発者とのすれちがい

　データ分析に携わる人にとっての悩みは，開発者とのすれちがいにあるという。分析者がデータ分析の結果を伝えても開発者に理解してもらえない。一方，開発者の側も，データ分析の内容は理解できないと考えている。これでは円滑に作業できるわけがない。


　松崎氏もこうした悩みを抱えていた時期があり，「データ分析結果を分かりやすいグラフにして説明する」「勤務地の東京から，開発チームのいる大阪へ頻繁に出張し，コミュニケーションする」といった工夫を重ねたものの，さしたる効果はなかったという。
　それもそのはず，問題の本質は，資料の見やすさでも，開発チームとの距離感でもなく，単に「提示したデータ分析結果が難しいものだった」という点。「データ分析結果をそのまま伝えるのではなく，一度分解したうえで，起承転結のある一つの物語とする」こと，つまりシナリオとして伝えることが必要であると気付いたのだそうだ。


●起
　仮説を提示する。「分析することにより，問題点を発見する」と考える人が多いが，「あらかじめ，何が問題であるかを把握してから分析を行う」ほうが一般的だとのこと。

●承
　仮説を裏付けるデータ，数字やグラフなどを提示する。

●転
　データ分析をすることで明らかになった，解決すべき課題を提示する。

●結
　課題をどのように解決するか，その方法を提案する。

　実は，先に例示された「松崎氏が自作した折り紙にどれぐらいの値段を付けるか」という問題に関しても，起承転結のシナリオに沿った伝え方がされている。起（仮説），承（裏付け），転（課題），結（解決法）という流れになっていることが分かるだろう。


　松崎氏は，データ分析結果が理解されなかった頃の自分が「承」のステップのみに終始していたと振り返る。折り紙の例で見ると，「何が問題なのかも分からないまま，折り紙の値段について松崎氏とカプコン社員で差があることだけを伝えられ，解決策も提示されていない」わけなので，データ分析の専門家以外に重要性が伝わらないのも分かる。

　開発者は「ユーザーに楽しい思いをしてほしい」と考えている人が多いため，KPIなど数値を重視した説明をしても，心を動かすことはできない……と松崎氏は指摘した。

シナリオ的な伝え方の効果は，海外で効果が実証されている。寄付金を募るとき，数字だけの分析データを示した場合の2倍の金額が集まったそうだ

シナリオ的に組み立てたデータ分析の結果は，プロジェクトの全員に理解してもらうと，皆から新しいアイデアが出るため問題解決に有効であるという

データ分析により，過去の良かった点を繰り返し再現する

　「データ分析を行うことで，新発見が得られる」というイメージを持つ人が多いが，実際のところ長年データ分析に携わった松崎氏であっても，そんな経験はほとんどないという。

　データ分析のメリットは新発見ではなく，再現性にある……と松崎氏は日本酒「獺祭」を例に挙げて説明した。通常，日本酒は杜氏という専門の職人によって造られるのだが，獺祭に杜氏はいない。熟練の杜氏が辞めてしまった状態で日本酒を造るため，温度や水温など，関連データを徹底して数値化することにより，杜氏でなくても常に安定した品質の獺祭が造れるようになったという。つまり，データ分析によって味や品質が再現できるようになっているのだ。



　モンスターハンター エクスプロアの場合，アップデートやイベントなどがうまくいった場合，その理由をデータ分析により客観的に抽出し，その後も再現できるようになっているという。データ分析がユーザー体験の質を上げることにつながっているというわけで，ソーシャルゲーム運営におけるデータ分析の意義を再確認させてくれる講演だった。

モンスターハンター エクスプロアのデータ分析ではデシル分析など従来の手法と機械学習を組み合わせることで精度を上げ，実際のユーザー像を明らかにしているという

機械学習とはどういったものか，ということで例として挙げられたのがこちらの文字列。どの行にも共通の8文字が含まれているというが，人間の目ではなかなか分からない

機械学習であれば，共通の8文字（データの偏り）を見つけることができる。実は「THANK YOU」のメッセージが隠されていた

スライドで示されたのは，「機械学習と従来のセグメント手法を組み合わせることにより，イベント参加に積極的なユーザーを抽出する」手法だ。ここでは「イベント参加に積極的＝アイテムを多く使用している」と考え，アイテムを使った個数を基準にセグメント化。「平均のクエスト出発回数」など新たな変数を追加することで，積極的なユーザーを抽出する精度を上げていく

同じデータを機械学習にかけ，人間の目では分からないような偏りをもとにデータをクラスタに分割

機械学習で出てきたクラスタと先のセグメントをクロス集計すると，デシル分析では同じクラスタに分類されたユーザー達であっても，それぞれに傾向の違いがあることが見えてくるという

「モンスターハンター エクスプロア」公式サイト