つぶやく
このセッションでは，新たな強化学習を用いて「EA SPORTS FC 26」（PC / Switch2 / PS5 / Xbox Series X|S / Switch / PS4 / Xbox One）のゴールキーパーAIを一新していたことや，その導入手法が紹介された。
 |
「EA SPORTS FC」シリーズにおいて，ゴールキーパーというポジションはゲームの勝敗を左右する極めて重要な存在である。プレイヤーはフィールド上の10人の選手を自在に操れるが，ゴールキーパーの挙動はそのほとんどがAIの制御に委ねられている。
ここで生じる問題は，プレイヤーが自らの操作で防げない失点が発生した際，その責任がAIの不手際に帰結し，プレイヤーに強いフラストレーションを与えてしまうことだ。
 |
これまでのゴールキーパーのAIに関するレガシーシステムは，長年にわたって洗練されてきた手書きのヒューリスティックス，すなわち開発者が丹念に条件分岐を記述したアルゴリズムに基づいていた。
このシステムは非常に高速で予測可能性が高く，多くのタイトルで成功を収めてきたが，同時に限界も露呈していた。
例えば「角度を詰めるモード」「クロスを警戒するモード」「1対1で飛び出すモード」といった具合に，従来のシステムは，特定の行動を「モード」として切り替える構造になっていたのだ。
 |
しかし，複雑な試合展開の中でモードからモードへと移行する際，そこには必然的に「継ぎ目」が生じる。この継ぎ目が挙動の不自然さを生み，鋭いプレイヤーにはシステムの弱点，すなわち攻略における穴として見抜かれてしまう。
一度信頼が損なわれれば，ゲームのリアリティは失われる。そこで開発が注目したのが「強化学習」（Reinforcement Learning/RL）である。
 |
強化学習の最大の利点は，ハードな境界線を持つモードの切り替えを必要とせず，連続的な空間で意思決定を行える点にある。これにより，人間のキーパーが状況に応じて複数の脅威を天秤にかけるような「ヘッジ」の動きが可能になる。
しかし，それと同時に毎年発売される大規模タイトルに強化学習を導入することは，開発チームにとって大きな賭けでもあった。ブラックボックス化のリスク，膨大な学習時間，そして何よりデザイナーが挙動をコントロールできなくなることへの懸念があったからだ。
そのため，「EA SPORTS FC 26」におけるゴールキーパーAI大改造計画の最大の目標は，単に最新技術を導入することではなく，いかにして制御可能な製品レベルの機能として昇華させるかにあった。
技術が優れていることと，その新作を毎年，確信を持って出荷できることは別問題である。デザイナーによる制御，迅速な反復，強力なテスト体制という厳しい要件をクリアすることで，強化学習を「EA SPORTS FC 26」の製品版に搭載することに成功したのだとJones氏は胸を張っていた。
 |
彼らのチームはJones氏の想定する複雑な条件を克服するため，強化学習の具体的な実装に取り組んだ。
強化学習の本質は，エージェントが環境との相互作用を通じて，長期的な報酬を最大化するように自ら学ぶことにある。開発環境の絶対条件としてFrostbiteエンジンを使用しており，C++で書かれたゲーム本体とPython上の機械学習モデルを通信させる内部フレームワークをベースにしている。
採用したアルゴリズムはサンプル効率と安定性に定評のあるSoft Actor-Critic（SAC）であるが，商用ゲーム開発という時間的制約が極めて厳しい現場にこれを適応させるためには，いくつもの創造的な工夫が必要であった。
強化学習の最大の障壁の一つは学習時間の長さだが，SEEDはこれを「一晩（12時間以内）」に収めることを絶対条件とした。まず，ゼロから学習させるのではなく，既存のレガシーAIのデータを「プレイブック」として最初に与えることで，学習の立ち上がりを劇的に加速させた。
 |
さらに，学習が停滞する「可塑性の喪失」を防ぐため，Sestini氏はデータセットを再利用しながら，ニューラルネットワークの根源的部分を定期的にリセットするという手法を導入した。
また，学習の効率化を図るためにカリキュラム学習を採用し，基礎的なドリルから複雑な試合形式のシナリオへと段階的に難度を上げることで，エージェントが混乱することなく高度な技能を習得できる環境を整えた。
ネットワーク自体は156ユニットの5層MLPという非常に軽量な構成とし，PS5などのコンソール上で170マイクロ秒という極めて短い推論時間を実現している。
 |
しかし，ここで最も重要だったのは「デザイナーの手元にデータを戻すこと」だ。AIがブラックボックス化して修正不能になる事態を避けるため，彼らは特定のバグ挙動だけを狙って数時間で再学習させるファインチューニングの仕組みを構築した。
これにより，デザイナーやテストチームが不自然な動きを発見すれば，その状況を再現した練習ドリルをAIに与え，2時間から4時間程度で修正モデルを焼き上げられる。
この迅速なイテレーションがチーム内の信頼を生み，単なる技術的なデモではなく，実際の製品として出荷可能な品質を担保する鍵となった。
 |
プロのゴールキーパーの知見を報酬関数に反映させ，数学的な最適解だけでなく「サッカー選手として正しい動き」を学習させた結果，強化学習ベースのAIは旧来のシステムを凌駕する本物らしさを獲得した。その動作は，「EA SPORTS FC 26」でも高く評価されている部分の一つである。
今回のセッションで紹介されたEA SPORTSとSEEDのアプローチは，先端AI技術をいかにして実世界のゲーム開発という規律ある制作工程に融合させるかという問いに対する，一つの決定的な回答であると言えるかもしれない。
 |
