1枚の画像から探索可能な3Dワールドを生成できるAIモデル「Genie 2」発表。命令に合わせ自動的にゲームをプレイする「SIMA」との連携も

　Googleは本日（2024年12月5日），1枚の画像から探索可能な3Dワールドを生成できるAIモデル「Genie 2」を発表した。


※画像は発表ページ（外部リンク）より

Introducing Genie 2: our AI model that can create an endless variety of playable 3D worlds - all from a single image. ??

These types of large-scale foundation world models could enable future agents to be trained and evaluated in an endless number of virtual environments. →… pic.twitter.com/qHCT6jqb1W

— Google DeepMind (@GoogleDeepMind) December 4, 2024

　Genie 2は，プレイヤーの入力を受け取り，それに合わせて次のフレームをシミュレートするものだ。移動だけでなく，キャラクターのジャンプや，扉を開けるといった動作も再現できる。


　また，火山の煙や海流などの表現に加え，ドラム缶を撃つと爆発するなど，オブジェクト同士の相互作用も表現可能だ。



　Genie 2は，画面外に行ったワールドについても記憶しておくことができ，視点を動かして再び画面に映る時に，同じものを正確に再現できる。
　これは最大1分間にわたり，一貫したワールドを構築できるそうだ。

　言語で指示すると，その指示に合わせてエージェントがゲームをプレイしてくれる「SIMA」との連携も発表された。
　Genie 2で生成した3D空間で，「階段を上ってください」「青い扉を開けてください」といった命令をすると，SIMAはそれをうけ，自動的にキャラクターを操作する。

SIMAに青い扉を開けてもらうよう指示した例

　SIMAを使うことで，Genie 2で生成したワールドの評価を自動的に行うワークフローも構築可能だ。

Google「Genie 2: A large-scale foundation world model