［CEDEC 2020］プレイヤーにやりがいを与える卓球ロボットとは。「フォルフェウス」のケースで見るゲームAI技術の応用

　ゲーム開発者向けカンファレンス「CEDEC 2020」で行われた講演「卓球ロボット『フォルフェウス』におけるゲームAI技術の応用」のレポートをお届けしよう。オムロンが手がける卓球ロボット「フォルフェウス」の最新モデルに，スクウェア・エニックスが持つゲームAIの知見が活用されることにより，「プレイヤーにやりがいを与える卓球ロボット」が実現されたのだ。

公式サイト（外部リンク）より，第6世代「フォルフェウス」

バイタル計測とメタAIを使い，モチベーションをアップさせる卓球ロボットを作り出す

　今回のテーマとなる「フォルフェウス」は，体重計などのヘルスケア製品や各種センサーで知られるオムロンが手がける卓球ロボット。2013年に初代機が発表された後も開発は続けられ，CES2020に展示された第6世代モデルは，AIがプレイヤーの感情を読み取ってモチベーションを上げることで話題を呼んだ。

　このAI部分に協力したのがスクウェア・エニックスで，同社で研究されているゲームAI――なかでも状況を把握してゲームをコントロールする「メタAI」の知見が活用されている。そして，“デジタルものづくりカフェ”のFabCafeでは，「フォルフェウス」のために卓球経験者を招いてワークショップを開催するなどの活動を行った。
　こうして作られた第6世代「フォルフェウス」の概要と，ゲームAIのはたらきについて語るのが，今回のセッションだ。

「卓球ロボット『フォルフェウス』におけるゲームAI技術の応用」登壇者

三宅陽一郎氏（スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー）
中山雅宗氏（オムロン 技術・知財本部　研究開発センタ　画像センシング研究室）
藤田健介氏（ロフトワーク FabCafe ディレクター）
水野勇太氏（スクウェア・エニックス テクノロジー推進部）

オムロンの中山氏（左上），スクウェア・エニックスの三宅氏（右上），ロフトワークの藤田氏（左下），スクウェア・エニックスの水野氏（右下）

　セッションは，オムロンの中山氏による第6世代「フォルフェウス」の概要説明で幕を開けた。
　卓球は「100m走をしながらチェスをするようなスポーツ」と呼ばれており，素早い動きと緻密な状況判断を同時にこなさなければならない。卓球ロボットとしては，外界から各種の情報を取得しつつ，ボールの軌道予測やプレイヤー能力の推定を行い，さらにはアームを正確に駆動させるといったタスクを同時に実行しなければならないのだ。


　これを実現するため，第6世代「フォルフェウス」にはさまざまなメカニズムが用いられている。カメラだけでも，ボールを計測するのに2台，ラケット用に1台，プレイヤーの動作を見るのに2台，そしてプレイヤーのバイタルを計測するのに1台と合計6台が搭載されている。
　最新の卓球ロボットというと，極めて特殊な機器の集合体を想像してしまうが，用いられている機械のほとんどはオムロンが制作する一般産業用の汎用機器だという。それでいて計測誤差も少なく，ボールの位置は5mm以下，ラケットの位置は20mm以下，プレイヤーの位置については40mm以下，ボールの軌跡については20mm以下（卓球ボールの約半分）に収まるそうだから驚くほかない。
　そして，こうした情報を基に，無理なく返球できるスイング計画が決められ，ロボットのアームが動かされる。返球の精度も高く，こちらは誤差100mm以下に収まるのだという。


　第6世代「フォルフェウス」では，プレイヤーのモチベーションをアップさせるための返球――言い換えれば適度なチャレンジ性を持つ返球ができる。
　これを支えるのが4Kカメラによるバイタル計測で，プレイヤーの脈拍に加え，「笑顔度」「真顔度」といった表情を解析する。ここにボールとプレイヤーの動作情報から測定した技能レベルを加え，快・不快と覚醒・鎮静の2軸で人の感情を表す「ラッセルの円環モデル」をベースとした感情マップで，プレイヤーの感情を推定するのだ。


　プレイヤーの感情が不快にあるようなら，返球が難しすぎるということになるので，ボールの速度を落としたり，得意コースへ返したりといった返球に切り替える。沈静なら楽すぎるということなので，素早いボールを難しいコースへ送り込む……というように，プレイヤーに合わせた対応を取る。
　これは，ゲームAIにおけるメタAIの考え方そのものであり，ここにスクウェア・エニックスの知見が活かされている。こうしたメタAI実装後は，変化のあるラリーでモチベーションがアップするという効果が見られたという。

　通常，スポーツでは競技者の技量を測るのにタイムや勝率といった過去の記録を用いる。しかし，第6世代「フォルフェウス」ではプレイヤーの感情に注目し，リアルタイム計測により，1回のプレイ内でどんどん対応を変えていけるのが斬新な点であると個人的には感じられた。そして，プレイヤーのモチベーションをアップさせるための施策はゲームが得意とするところであり，ここでスクウェア・エニックスが協力したのは適材適所であると思えた。

藤田氏からは，プロジェクトにおけるFabCafeの役割も語られた。モチベーションをアップさせるAIを求めるオムロンに，スクウェア・エニックスの三宅氏をアサイン。卓球経験者を加えたワークショップを開催し，データをまとめるなどして協力している

ゲームで用いられるメタAIを，現実世界へとアップデートする

　スクウェア・エニックスの水野氏からは，これまでゲームで用いられてきたメタAIを，現実世界で動く卓球ロボットで使ううえでの考え方が語られた。

　これまで同社では，ゲームAIを用いる難度調整においてプレイヤーの感情を推定するとき，ラッセルの円環モデルに加えて，「敗北への不安感」と「勝利への期待感」を軸とした同社製の2次元感情マップが用いられていた。
　しかし，卓球は敗北と勝利が確定するまでに時間がかかるため，「敗北への不安感」や「勝利への期待感」では合わないのではないかということから，第6世代「フォルフェウス」では，ラッセルの円環モデルをベースに「挑戦難度」と「成功率」の軸を組み合わせる方式が考案されたのだ。

　「挑戦難度」はラリーの速度とストロークを，そして「成功率」はボールの落下方向や回転の速度・方向といった要素を制御することで変化を加えた。そして，卓球を遊ぶプレイヤーの感情が推定できることを確認。「感情を，難度と成功率で揺さぶる」という方針のもとで開発が進められた。

ラッセルの円環モデル（左側写真左）と，スクウェア・エニックスによる2次元感情マップ（左側写真右）。卓球は敗北と勝利が確定するまでに時間がかかるため，「挑戦難度」と「成功率」の軸を組み合わせる方式が考案された（右写真）

　センサーでプレイヤーの技能レベルを測定し，メタAIが感情を目的の方向へ向けるために最適となる課題を策定。ロボットアームのラケットを動かして，課題通りのボールを返し，センサーでプレイヤーのバイタルデータと成功状況をチェックし，メタAIが最適な課題を策定する……というサイクルが完成したのだ。

　ゲーム用メタAIは，ゲーム世界の情報を得て分析する「ワールドアナライザー」と，その情報を基にゲームをどう展開させるかを決める「ゲームメーカー」，具体的にゲーム側へ渡すパラメータを決める「パラメータジェネレーター」から構成されている。

　第6世代「フォルフェウス」の場合，センサーで得た外界の情報でゲームメーカーが複数の返球パターンを策定，パラメータジェネレーターが返球の計画を決めてロボットアームを制御する情報を渡す……という方式で動作している。
　基本的な考え方はゲーム用メタAIと同様だが，センサーの誤差や機械（ロボットアーム）を移動させるための制限といった，現実世界の物理的現象・制限への対応を求められたという。

　また，感情の推定がラリー単位であるため，失敗に対する影響が，実際の心の動きよりも大きくなってしまうといった課題も出たという。メタAI自体は広い時間軸でデータを扱えるため，今後は失敗を試合全体の流れの中で捉えるといった，長いスパンでの感情推定に取り組みたいと水野氏は抱負を語った。

ゲーム用メタAI（左写真）と第6世代「フォルフェウス」用メタAI（右写真）

ゲームメーカーが策定したプランから，パラメータジェネレーターが実際にロボットアームを動かすための制御情報を生成する

センサーの誤差や機械を移動させるための制限といった，現実世界の物理的現象・制限への対応を求められた

　そして水野氏は，今回の取り組みについて「メタAIを現実へ向けてアップデートできた」と評価し，「ゲーム内の世界だけで閉じていたメタAI技術を，現実世界へアップデートできたことが，大変に嬉しくありがたい共同研究でした」と，スクウェア・エニックスにおけるプロジェクトの意義を総括した。そして，「ゲームは人の気持ちを扱う技術の結晶であり，こうしたノウハウが社会に出ることでもっと面白くなるのではないでしょうか」とゲーミフィケーションへの期待を語った。