TGSで見た「感情の可視化」はここまで進んだ。生体信号から感情をリアルタイム推定するデバイス「OVOMIND」ハンズオンレポート

　「プレイヤーがいま何を感じているか」を，ゲーム側がリアルタイムに知ることができたら……。ホラーゲームなら怖がっているプレイヤーをさらに追い込むこともできるし，パズルゲームならイライラし始めたプレイヤーのために，そっと難度を下げてやることもできる。
　プレイヤーの感情に応じて，見せるものを変えていく。そんな未来をちら見せしてくれたのが，"感情を入力デバイスにする"技術を開発するOVOMINDだ。


　同社は，過去東京ゲームショウにもブースを出展していたので，会場で見かけて気になっていた読者もいるかもしれない。4Gamerも以前からその存在は認識していたのだが，今回，同社CTOの髙橋 拓椰氏にじっくり話を聞く機会を得た。
　あわせて，感情推定デバイスを実際に装着してのデモも2本体験してきたので，技術の概要とともに，そのハンズオンレポートをお届けしたい。

心拍と皮膚の反応から，0.3秒で感情を推定する

　OVOMINDが手がけているのは，一言でいえば「生体信号からリアルタイムに感情を推定するシステム」の開発だ。

　腕に装着するリストバンド型の専用デバイス（開発キット「DK1」）というハードウェアから，生体信号を取得するセンサー回路，デバイス管理用のモバイルアプリ，そしてクラウド上で動く感情推定AIまでを，同社が一気通貫で開発・提供している。

　ちなみにOVOMINDはスイスに拠点を置く企業だが，そのルーツは実は日本にある。CEOのYann Frachi（ヤン・フラチ）氏は日本文化好きが高じて来日し，日本からOVOMINDをスタートさせた人物で，この分野の研究歴は10年を超えるという。
　いわば「日本で生まれてスイスで製品になった」技術であり，今回話を聞いた高橋氏も約4年間，共同研究者として関わったのち，今年4月から同社に本格的にジョインしたそうだ。

　では，感情はどうやって「推定」するのか。
　OVOMINDのシステムが読み取っているのは，心拍，皮膚温，そして皮膚電気活動（発汗の度合い）といった生体信号だ。
　これらを数値信号としてデバイスから取得し，同社のAIに入力することで，感情を「二次元平面上の点」としてリアルタイムに推定する。

　この二次元平面のベースになっているのが，心理学で広く知られる「ラッセルの感情円環モデル」である。
　横軸がネガティブからポジティブ，縦軸が覚醒度，つまり落ち着いているか興奮しているかを表しており，人間が感じるさまざまな感情は，この平面上の位置として表現できることが分かっている。
　たとえば「ポジティブで落ち着いている」ならリラックス，「ネガティブで興奮している」なら警戒やイライラ，といった具合だ。

ラッセルの感情円環モデル

　Ovomindは，Excited, Joy, Relaxed, Serious, Bored, Anxious, Annoyed, Alarmed, Neutralの9つのラベルを出力していて，座標の連続値とあわせて外部のソフトウェアから利用できる。

　ゲームエンジン向けにはUnity，Unreal Engineに加え，Godot用のSDKが提供されているほか，Electron対応やクラウドAPIも用意されている。
　開発者は「いまプレイヤーがどんな感情か」を数値やラベルとして受け取って，そのままゲームロジックに組み込めるわけだ。

OVOMINDアカウントでログインすることで，プレイヤーの生体信号から感情値を読み取れる。その感情値が，次レベルの選択肢に影響し，操作キャラの見た目や背景デザイン，エフェクトとリアルタイムで連動している「KAZ」

　特筆すべきはそのスピードで，生体信号が計測されてからシステムに感情データが届くまでのレイテンシは約300ミリ秒。
　スマートウォッチによくある「今日1日の気分はどうでしたか」という粒度ではなく，プレイ中の感情の揺れをほぼリアルタイムで追いかけられるのが，OVOMINDの最大の強みだという。
　開発には25名を超える技術者が携わり，高橋氏を含む約8名の博士号保持者がシステム構築を監修しているという。感情推定の精度は約81％を謳っており，学術研究レベルの精度が70〜85％程度とされるなかで，それに匹敵する数字をリアルタイム処理で実現していることになる。

　興味深いのは「正解データ」の作り方だ。感情を喚起する刺激に対して「専門家がこのシーンは恐怖のはず，と決め打ちでラベルを付ける」のではなく，被験者の感情セルフレポート，つまりあくまで「本人がそう感じた」という主観をグラウンドトゥルース（正解データ）としている。これは，感情という捉えどころのないものを扱ううえで，納得感のあるアプローチといえる。

なぜ「自律神経系の信号」なのか

　感情を推定する方法自体は，ほかにもいくつか存在する。たとえば脳波を使う方法は研究分野では定番だが，大掛かりなヘッドセットの装着や厳密なセッティングが必要で，手軽さに欠ける。カメラで表情を読む，マイクで声色を読むといった方法も考えられるが，こちらには「顔や声はある程度演技ができてしまう」という本質的な問題がある。内心の感情が，そのまま表情や声に出るとは限らないのだ。

　一方，心拍や発汗といった自律神経系の反応は，小型で扱いやすいセンサーで簡単に取得できるうえ，意図的に取り繕うことが難しい。「演技しにくいロバストな信号だからこそ，そこから推定した感情は信頼できる」というのが同社の考え方である。

　なお装着時には45秒のキャリブレーション時間が設けられており，骨格などによる個人差はここで吸収される。さらに継続的に装着していれば，過去の生体信号の履歴をもとにモデルがどんどんその人に最適化されていくとのことだ。

　ハードウェア面の展開も柔軟だ。DK1はあくまでリファレンスデザインという位置づけで，この形にこだわる必要はないという。たとえば耳の後ろにセンサーを配したヘッドホン型の話も進んでいるとのことで，手が空くぶん，ゲーマーにとっては理想的な形かもしれない。
　さらには，市販のスマートウォッチへの対応も始まっている。今年6月にSamsungとはパートナーシップを締結し，Galaxy Watchとは完全互換となっており，SDKを通じてすぐに利用できる状態にあるという。

Samsungは，リアルタイム感情AIを開発するOvomindの技術をGalaxy Watch 8以降のGalaxy Watchシリーズに対応させた

　一方，感情や生体信号のデータはいわゆる「要配慮個人情報」に相当するセンシティブな情報であるため，GDPRに準拠したうえで暗号化・匿名化して記録し，アクセス権限も厳格に管理していると高橋氏は強調していた。

ゲームから車載，音楽，対話AIまで，広まるユーズケース

　OVOMINDの出発点はゲームだ。東京ゲームショウに出展したホラーゲームのデモでは，プレイ中のプレイヤーの恐怖度合いに応じて，キャラクターのセリフやストーリー展開が変化するという仕掛けが実装されていた。また，すでにSteamで発売されているパズルゲームへの採用例もあり，こちらは「盤面が難しすぎてイライラしていたら難度を下げ，簡単すぎて飽きていそうなら盤面を難しくする」という，感情ドリブンの動的レベルデザインに活用されているという。プレイヤーのエンゲージメントや継続率の向上はもちろん，「感情を入力とした次世代のイマーシブなゲーム体験」そのものが新しい話題性を持つ，というのが同社の見立てだ。

　ゲーム開発の現場に向けては，QA・評価用途のダッシュボードも用意されている。プレイ動画のタイムラインと感情推定の結果を同期させて振り返れるもので，「このシーンでプレイヤーの感情がネガティブ寄り・興奮側に集中していた」といった分析が後からできる。アンケートやユーザーレポートでは拾いきれない，プレイヤー自身も覚えていないような無意識の反応がデータとして残るのは，ゲームの検証手法として大きな武器になりそうだ。

? Discover the Ovomind Dashboard!
Real-time emotional insights, heatmaps, trends & custom tools for your game.
Unity & Unreal SDKs available FREE.
Email us at sdk@ovomind.com#EmotionalAI #GameDev #Unity #Unreal #Ovomind pic.twitter.com/4YCiaMcKrT

— Ovomind (@Ovomind1) April 29, 2025

　もっとも，応用先はゲームにとどまらない。インタビューで挙がった例をいくつか紹介すると：

　まず車載分野。運転中に過度なストレスや怒りを検知したらそれを抑制する方向に，逆に退屈や眠気の兆候を検知したらコックピットの表示を変えたりアラートを出したりと，感情に応じて自律的に運転モードを切り替えることで，安全性の向上につなげるという構想だ。

　学習・トレーニング分野では，勉強や筋トレ中のストレス状態を計測し，感情状態に合わせてコンテンツの内容や負荷を調整するという使い方が想定されている。メンタルヘルス領域では，自身のストレス状態を把握するセルフケア用途に加えて，精神科医が診療の補助として活用する取り組みも進んでいるという。

　音楽との組み合わせもユニークだ。同社は「感情に連動して変化していく音楽」という新しい音楽フォーマットの実現を構想しており，いま感じている気分に合わせて既存楽曲からプレイリストを組む，といった応用も考えられる。ゲームに引きつければ，プレイヤーの感情に応じてBGMの盛り上がりが変化する，没入感演出への応用が直結するだろう。

　さらに映画やドラマといった映像分野では，視聴者の感情によって物語が分岐したり，感情的な盛り上がりに合わせて展開を調整したりする「インタラクティブ・ストーリーテリング」への応用も検討されている。
　そして昨今のトレンドを踏まえて興味深いのが，感情認識型の対話AIだ。現在のLLMベースのAIはテキスト入力が基本だが，そこにデバイスから得た感情情報を付加することで，「今日は落ち込んでいそうだから，この話題は控えておこう」といった，相手を気遣うより自然なインタラクションが実現できるのではないかという構想である。

「落ち着き」だけでボールを運ぶゲーム「EmoRunner」，自分の感情は，思いどおりにならない

　さて，ここからはハンズオンだ。1本めのデモは，前述の「感情連動音楽」とリラクゼーションを組み合わせたミニゲームである。

　手首にデバイスを装着し，45秒のキャリブレーションを済ませるとゲームスタート。画面中央にボールが表示され，プレイヤーが落ち着いていないとボールは左右にぶれ，落ち着いていればぶれが収まってまっすぐ前に進んでいく。操作は一切なし。ただ「落ち着く」ことだけがボールを前に運ぶ手段で，より深く落ち着けるほどスコアが伸びるという，シンプルながら他に類を見ないゲームだ。

CESで展示された様子

　注目してほしいと言われたのがBGMだ。落ち着けていないときはリラックスへと誘導するような音楽が流れ，落ち着いてくるにつれて，心地よい音楽へと滑らかに遷移していく。曲が切り替わるというより，自分の内面状態に合わせて音楽が"変化していく"感覚で，これが「感情に連動する新しい音楽フォーマット」の一端というわけである。

　実際にやってみると，これが思いのほか難しい。「ビーチでも思い浮かべて，あまり意識せずに」とアドバイスされたものの，落ち着こうと意識すればするほど落ち着けない。深呼吸を試したり，雑念を追い出そうとしたりするうちに，画面の隅に表示される自分の感情がフラフラと揺れ動き，ギリギリ10万点を通過したのだ。
　「自分ではリラックスしているつもり」と「デバイスが読み取った自分」が一致しない，このもどかしさこそが本デモの本質だろう。自分の感情は，自分の思いどおりにならないのだ。

　2回目のトライでようやく落ち着きが入り，14万5000点。以前，陸上選手がこのデモを体験したときは，開始するやいなや即座にリラックス状態に入り，周囲でどれだけ話しかけても揺らがないまま約16万点を叩き出したという。
　「メンタルコントロールの訓練をしている人は，結果が出やすいタスク」とのことで，アスリートのメンタルトレーニングへの応用にも手応えを感じさせる。

実は「EmoRunner」の感情連動音楽を作曲したのは，髙橋氏だ。 音声・音楽情報科学を専門に修士・博士（工学）を取得しており，感情と音楽の相互作用もそのテーマの一つだったという。

　プレイ後には，ダッシュボードでセッションの振り返りも見せてもらった。筆者のセッション全体のヒートマップは，ポジティブ寄りでやや興奮気味のゾーンに分布。
　時系列で追うと，序盤はややネガティブ寄りだったのが，中盤にかけてポジティブで興奮した状態へ移動し，そこから徐々に覚醒度が下がってJoyのあたりで安定，ときおりRelaxedに触れるという変化がはっきり見て取れた。

感情が丸見えの「カードじゃんけん」，ポーカーフェイスは，もう通用しない

　2本めのデモは打って変わって2人で遊ぶ対戦もの。グー・チョキ・パーのカードを使った，心理戦じゃんけんだ。

　ルールはこうだ。グー・チョキ・パーがそれぞれ各4枚の計12枚のカードをシャッフルして裏返しのまま配って3つの山（1つの山が4枚）を作り，そのうち2つをプレイヤー2名に選んでもらう。使われなかった山のうち2枚を表にして，2枚は伏せたまま場に置いておく。
　そしてプレイヤーは，残った手札からカードを1枚ずつ選んで出し合って，じゃんけんの要領で勝負する。先に2勝したほうが勝ちで，あいこの場合は持ち越しとなり，次に勝った側が2勝分を得る。

　さてこれが普通のじゃんけんと違うのは，相手の手札がある程度予想できることだ。見えてるカードがグーとチョキで，手元にグー2枚チョキ2枚があったら，もう相手の手元にはほとんどパーしかない。
　それは極端な例だとしても，とくに1勝負終わったあとだと「7枚が判明した状態」なので結構いい線まで予想ができる。「もうグー持ってないでしょ」みたいな揺さぶりの掛け合いが自然と発生するわけだ。
　伏せられた2枚が何かは分からないので，カードカウンティングも完全に分かるわけではないことが多い。シンプルながら，読み合いとブラフがしっかり機能する設計だ。

　本題はここから。対戦する両者がOVOMINDのトラッカーを装着し，別画面の観戦ツールに2人の感情がリアルタイムで表示されるのである。イメージとしては，将棋のAI評価値中継が近い。盤面の形勢ではなく，プレイヤー2人の「心の形勢」がグラフとして揺れ動くのだ。


　これが実に面白い。「グーはもう1枚もないかなぁ……」と揺さぶりをかけられた瞬間，こちらの感情表示がぴょこんと跳ねる。顔では平静を装っていても，心拍と皮膚は正直だ。逆に相手の表示が動いた瞬間には「いまの効いたな」と確信できてしまう。
　ポーカーフェイスの下で起きていることが，文字どおり丸見えになるわけだ。

　髙橋氏が「観客が見ると面白いはず」と語っていたのも納得だ。
　たとえばプロのポーカープレイヤーが，鉄壁のポーカーフェイスの裏で実は激しく心を揺さぶられている。そんな様子が可視化されたら，マインドスポーツの観戦体験は一変するかもしれない。
　感情という「隠すことがゲーム性の一部」だった領域に，まったく新しい観戦レイヤーが生まれるだろうか。
　もうひとつ印象的だったのは，感情の変化の速さだ。グラフを見ていると，自分の感情は自分が思っている以上に，秒単位でめまぐるしく動いている。
　「いまこの瞬間はExcited（興奮）と出ていますが，1日ずっとそうであるわけではない」という話のとおり，感情とはスナップショットではなく，絶えず流れ続ける信号なのだと実感させられる。
　この解像度の高さこそ，レイテンシ300ミリ秒にこだわった同社の技術の真骨頂だろう。

「感情」という，まだ誰も使っていない入力軸

　ボタン，スティック，タッチ，音声，モーション，ゲームの入力手段はさまざまに進化してきたが，「プレイヤーの感情そのもの」を入力にしたゲームは，まだほとんど存在しない。
　今回2本のデモを体験して感じたのは，感情入力には「自分の意思では完全にコントロールできない」という，既存のどの入力デバイスとも異なる特性があるということだ。
　思いどおりにならないからこそゲームになるし，隠せないからこそ観戦が成立する。この非対称性は，遊びの素材として相当に筋がいいように感じる。

　前述の通りOVOMINDのSDKはUnity/Unreal向けに提供されており，Galaxy Watchなどを筆頭に市販のスマートウォッチでも動作する環境が整いつつある。
　高橋氏も「まずはSDKをダウンロードして，どう動くのか触ってみてほしい。『これに紐づけたら面白いんじゃないか』というアイデアを考えてもらえたら」と，開発者やクリエイターが気軽に触れることへの期待を語っていた。
　感情を動かすゲームを作りたいと考えているクリエイターにとって，「感情で動くゲーム」という選択肢が現実のものになりつつある。
　どこかで同社の展示を見かけたら，ぜひ実際に装着して，自分の感情が思いどおりにならない体験を味わってみてほしい。