「サガ エメラルド ビヨンド」の歯ごたえあるバトルのバランス調整で，人が成したこと，そしてAIが成したこととは［CEDEC＋KYUSHU 2024］

　福岡県で2024年11月23日に開催されたコンピュータエンタテインメント開発者向けのカンファレンス「CEDEC＋KYUSHU2024」。そこで行われたセッションの1つ「サガ エメラルド ビヨンドのゲームバランスは如何にして作られたのか？ 人の成したこと，AIの成したこと」では，今年4月にリリースされたサガシリーズ最新作「サガ エメラルド ビヨンド」（PC / PS5 / PS4 / Nintendo Switch / iOS / Android）のバランス調整に活用した機械学習（強化学習）の事例が発表された。

「CEDEC＋KYUSHU 2024」公式サイト

　講演を行ったのはスクウェア・エニックスのクリエイティブスタジオ2でプランナーを務める柴田伯一氏と，イノベーション技術開発ディビジョンの三宅陽一郎氏だ。


　「サガ エメラルド ビヨンド」のバトルはつねに「拮抗し」「最後まで勝敗が見えにくい」。さらに，クリアデータを引き継いで周回プレイを重ねても，その緊張感が途切れることがないように設計されている。バトルを統括した柴田氏は，「どのように調整したのか？」と聞かれることが多かったという。


　同作は基本的に，要素の多い複雑なゲームだ。コマンドRPGの定番である技の属性，術の属性，弱点に加えて，サガシリーズでおなじみの陣形，ロール，ヘイト管理，キャラクターの種族ごとの違いなど，変動するパラメータが大量に存在している。


　さらに，「バトル中の1ターンが12コマのタイムラインに分けられており，タイムライン上のどのコマを占める（どのコマで行動する）かで有利不利が変わる，陣取り的な連携システム」や，「HPの回復がないため，ターンが進むうちに次第にバトルメンバーが減り，タイムラインに空白が増えることで誘発される独壇場（1人で行う連続攻撃）」など，タイムラインを軸にした，ほかに例を見ないような仕組みも備えている。


　加えて，幅広い戦術や基本戦略をちゃんと機能させたいという「作り手側のこだわり」もあったという。そのように設計するこで，プレイヤーが何か1つを理解するたびに，より強くなれるゲームを目指したのだ。結果として，リリースされたゲームでは狙いどおりのプレイ感が実現し，とくにバトルのバランスは高評価を得ることができたという。


　そんな「サガ エメラルド ビヨンド」の特徴を報告したのち，柴田氏は，「バランス調整」の核となる自身の考え方を語った。ゲームのバランス調整とは，愚直にテストプレイを繰り返すことではなく，あらゆるパラメータの影響度を事前にイメージし，計算式を考えることであるという。
　ただ，テストプレイが必要なら，しっかりテストすべきなのも確かであり，本作のタイムラインに関する要素はランダム性が強いため，実際に動かしてコントロールが可能か否かを確かめる必要もあった。


　以上のことからバランス調整では，事前の設計を人間が行い，その後の結果確認にAIを活用することにした。大学時代にAIや機械学習を学んでいた柴田氏は，「これだけ複雑なゲームのバランス調整を現実的な期間内に行うには，AIを使うしかない」と，リリースの2年前にはすでに気づいていたという。


　幸い，ディレクターの河津秋敏氏がAIについて興味津々だっため，テストプレイにAIを使うこと自体はすんなりと決まった。
　そのうえで，ゲームシステムが複雑かつ，開発の進展によって仕様が変化することなどから，ルールベース型のAIではなく，機械学習（強化学習）型を選択した。テストAIはゲームとは独立して動作するものとし，開発は個別に行われたが，開発者間のデータ受け渡しは大変だった。しかし，個別に開発することで，テストAIの問題がゲーム開発に影響を及ぼさないというメリットがあった。


　実際にテストにAIを運用して分かった，AIの長所と短所は以下のスライドのとおりだ。強化学習は仕様変更に強く，AIがゲームシステムを完璧に理解していなくとも作動する。また，学習を重ねることで強化し，望む強さに達したら学習を止めることも可能だ。
　ちなみに，人間のテストプレイヤーはプレイを繰り返すうちにゲームがうまくなりすぎたり，飽きによってテスト結果にムラが出たりしてしまう。一貫したテストができるAIの特性は，バランス調整において大いに役立つものだった。

　AIの欠点としては，AIに対する理解が不十分であると使いこなせなかったり，AIとゲームデザイン，どちらに問題があるのか見極めるのが難しかったりすることが挙げられた。


　深層強化学習（のエージェント）とは，環境との相互作用を通じて報酬を最大化するための行動を学んでいくものだ。テスト中に何かを考えたり狙ったりするのではなく，総当たり的にプレイして報酬の高い（または低い）状態を経験し，少しずつ報酬の高い状態に近づいていく。それを外部から見ると「学習」しているように見えるのだ。
　そのため，ゲームシステム的に連携を狙うことが勝ちに近づく行動であれば，AIは連携をすることを学習するはずであり，そうならない場合，AIに対する報酬の設定だけでなく，ゲームデザインに含まれている問題を洗い出さなければならない。その点は，AIエンジニアではなくゲームプランナー側が判断する必要があった。


　開発初期のテストAIは短絡的で，とにかく大ダメージを与えようとしていた。また，複数のキャラクターに行動力を割り振って有利な状況を作ることや，連携すること，敵の連携を防ぐことなどにも考えが及ばず，「大きなダメージ数値」を出すことを優先するあまり，瀕死の敵にトドメを刺すのが遅かった。
　これが中期になると，うまくはないが，ゲームを理解しているように見える動きが増えていった。初期とは逆に，複数のキャラクターの行動を組み合わせて総合ダメージを大きくするように行動し，瀕死の敵を倒すようにもなった。
　やがて，ゲームに慣れていないプレイヤーよりうまくに戦えるほどに成長し，一見不可解だが，先の状況を読んでいたかのような手も使うようになっていったという。

味方が連携しつつ相手を分断するような行動順も作れるようになった

　最終的なテストAIの性能は，「上級者ほどではないが，中級者くらいには強い」程度に留めることに決められた。このAIに，作中に登場する約800種類のバトルイベントをプレイさせ，勝率や戦闘にかかったターン数，生き残った人数などを見てバランスを調整した。


　AI作成を担当したエンジニアからは「さらにAIを強化したほうがいいのではないか？」との意見が出たそうだが，柴田氏としては「AIが10回中1回でも勝てるなら，経験を積んだ人間は勝てる」という見立てがあったため，それ以上の強化は見送った。それよりも，一定の強さのAIによる一貫したバランス調整を選んだわけだ。


　実際，完成した「サガ エメラルド ビヨンド」は緊張感あるバトルを望むプレイヤーにとって，ほどよい手応えが続くゲームとなった。バランス調整にAIを使う場合，強さ自体はほどほどで十分で，あくまで「目安」として使えればいいと言えそうだ。

　もちろんこれはシングルプレイ用のRPGのバランス調整の話で，ジャンルや対戦要素の有無などによりケースバイケースで変わってくるだろうと柴田氏は述べた。

　以上のように，バランス調整にAIを使うには難しさも伴うことを語り，柴田氏は話を締めくくった。AIに何をさせたいのか，どんなアウトプットをさせるのか，そして結果から何が起きているのか，それらを判断するのは結局のところ人間だ。バランス調整の感覚を持つ人間が，AIの知識を兼ね備えることで，はじめてAIはバランス調整に「役立つ道具」となる。


　現在は空前のAIブームであり，簡単に情報に触れられるだけでなく，実際に使うこともできる。
　「サガ エメラルド ビヨンド」のバトルのように，複雑かつバランスの取れた遊びを破綻なく作りたい場合，AIは有効なツールになってくれそうだ。

　セッションの最後には，三宅陽一郎氏がテストAIの技術についての概要を紹介した。
　今回テストAIに使われた強化学習（Reinforcement Learning）はゲームの調整と相性がいいと三宅氏は語った。というのも，行動から得られたリターンによってその後の行動を変えるという仕組みは，ゲームをプレイする人の振る舞いに似ているからだ。

答えが明確でないものを手探りで探る感覚に似ている

　こうしたゲームと機械学習の研究は，「Dota 2」や「StarCraft 2」などでも行われていたが，それらは人間を超える強さのAIを作るためだった。
　バランス調整に使う場合，強さを求めるのではなく，普通程度の強さがあれば良いことが違いとなる。もっとも，プリトレーニングによる事前学習や，結果を見ながら問題のあるポイントをファインチューニングし，ゲームをテストプレイできる状態まで育てていくといった，基本的な手順は変わらない。


　また，ゲームに大きなバージョンアップがあった場合，ファインチューニングだけでは足りず，学習のやり直しが必要になる。これには4日間ほどかかるという。


　AIによるテストプレイは土日を使って行われ，週明けに結果を見つつ，開発やバランス調整をするというルーチンになっていた。2日間で800種類のバトルを10回以上テストするのは，人力では非現実的で，AIが得意とする領域だ。


　バックエンドとしては，テストプレイを繰り返すシミュレーターを動かし続け，それをWEB UIで制御するという形が理想的だが，今回はそれが間に合わず，間に人間が必要だったそうだ。


　実際に行われた学習プロセスは，以下のスライドのとおりだ。32個のワーカーエージェントがひたすらプレイを重ねてデータを溜め，ラーナーエージェントがそれらのデータを見て学習する。そして，学習結果をワーカーにわたす。少し賢くなったワーカーがさらにテストプレイを行って……という具合に学習のサイクルが回っていく仕組みだ。

強化学習におけるV-Traceアルゴリズム。これはエージェントの価値関数を更新するために使われるもので，ゲームデザインの意図と学習結果が離れすぎないようにすることが目的

　「サガ エメラルド ビヨンド」の複雑かつ歯ごたえあるバトルの裏側で，深層強化学習が一役買っていたことを伝える本セッション。今後はこれを元にしつつ、汎用的なバランス調整用のAIを作ることも目指すという。

　AIの活用がなければ，リリースまでにさらに時間がかかったかもしれない本作のバトルを多くのプレイヤーが体験し，絶賛している人もいるという事実は，なかなかに刺激的ではないだろうか。

「CEDEC＋KYUSHU 2024」公式サイト

4Gamer「CEDEC+KYUSHU 2024」掲載記事一覧