脳活動だけでロボットを操作する「bスポーツ」を体験。「Brain-machine Interface」がゲームを変える

　少々前の話になるが，2020年2月15〜16日の2日間，茨城県つくば市で「Tsukuba Mini Maker Faire 2020」が開催された。Maker Faireとは，世界各地で行われているモノづくりの祭典で，自分で好きなモノを作り，第三者とその楽しさを共有する「Maker」が多く集まり，技術展示を行うイベントだ。出展に個人，法人などの区別はなく，実際に今回のイベントでも，研究機関による出展も多く見られた。

　一見，ゲームには関係なさそうなイベントに思えるが，産業技術総合研究所ニューロテクノロジー研究グループの長谷川良平氏による「b（BRAIN）スポーツ」という展示は，ゲーマーの関心を呼びそうな内容だったのでレポートしたい。

bスポーツの展示では，写真右側のロボットを脳波で動かす

BMI技術が未来のゲームにもたらすもの

　bスポーツの紹介に入る前に，脳波を利用する技術の現状について，簡単に紹介しておこう。
　脳波を利用するというのは，ゲームにおける世界観設定や演出としては，とてもメジャーなものだ。しかし，現在では架空の話にとどまらず，産業用途を中心に活用が始まっている。エンターテインメントの世界においても，たとえば，FacebookのCEOであるMark Zuckerberg氏は，VR開発者向けイベント「Oculus Connect 6」で，脳波センサーを開発中であると言及した。Facebookのラボには，脳科学を応用する開発チームがあり，感情情報の数値化して，それを活用したサービス開発などを行っているそうだ。
　Facebook以外の企業でも同様の手法の取り入れは当たり前になりつつある。商品開発であれば，美味しい，美味しくないといった反応の数値化であったり，ゲーム開発であれば演出がプレイヤーに与える影響を計測したりといった具合だ。また，Lenovoは，2020年4月からスタートする「Game Wellness Project」で，脳波データや健康データなどを収集してゲームが身体に与えるポジティブな影響についての共同研究を行うとしている。これらは脳情報の可視化ともいえよう。
　脳は我々ゲーマーにとって，物理的に近いだけでなく，プレイに関わる身近な存在になりつつあるというわけである。

　では，その先はどんな展開が待っているのだろう。
　脳とハードウェアをつなぐ技術「Brain-machine Interface」（BMI）には，脳内，もしくは表層に機器を埋め込む「侵襲式」と，センサーを取り付けたヘッドギアなど利用して頭皮から脳情報を得る「非侵襲式」があり，上述した例は，脳波計測を頭皮越しに行う非侵襲式を採用している。
　BMI技術の実用例では，「入力型」と「介入型」，「出力型」といったものがある。入力型は，文字どおり脳に信号を送るもので，人工内耳や人工網膜が分かりやすい例であろう。介入型は，訓練や運動障害に関する事例があり，脳の特定部位に電気刺激を送って機能を調整するといった用途で，医療を中心に広まっている。
　最後の出力型は，脳波を外部に出力するもので，ヘッドギアなどのデバイスを着用して使うことから，実例としてイメージしやすい。今回取り上げるのbスポーツも，出力型の例である。

bスポーツでは，このようなヘッドギアを使用する。小型化が進むと，VR HMDのベルト内側に収まりそうだ

東京ゲームショウ2019でのNOKブース。このときのヘッドギアは小型だった

　最近の事例では，東京ゲームショウ2019でNOKが，脳波計測によって得意なゲームジャンルを判定する展示をしており，体験したという人もいるだろう。これも非侵襲式出力型BMIを利用したものだった。
　ゲーマーから見て分かりやすい研究としては，防衛医科大学校が「防衛装備庁技術シンポジウム2018」で展示していた「VR模擬戦遂行時の脳波計測」というものがある。模擬戦で命中したときと外れたとき，あるいは被弾したときの脳波を取得して，隊員の適性分析や訓練へのフィードバックに役立てようするものだ。

防衛医科大学校によるポスター展示

　少々脱線すると，ゲーム配信においてアイトラッキング（視線追跡技術）を利用して，ヒートマップによるゲーマーの視線を可視化するのはよくあるし，トレーニングに脳波データを取り入れいれているeスポーツチームはあるだろう。こうした技術を組みあわせて応用すれば，今後，脳波ベースで感情情報の可視化をゲーム実況で行うことが当たり前になる可能性もありそうだ。
　防衛医科大学校の展示やNOKの展示から想像を膨らませると，ゲームのチュートリアルをプレイ中に，脳波計測をもとに「お勧めのクラスはコレ」と表示される未来もあるだろう。Oculus Connect 6でも脳波の活用が言及されたことから考えると，脳波計測を使ってアバターの感情表現をしたり，VR空間における適切な（※たとえばVR酔いを防ぐ）表現を行ったりもできそうだ。ユーザーの好みや適正に合わせた動的なコンテンツ提供なども考えられるし，拡張現実（AR）ソリューションへの組み込みも視野に入れているのかもしれない。
　さらには，介入型の技術が容易に利用できるようになれば，五感への刺激や強化も可能だ。このあたりはSF的なゲームでお馴染みだ。BMI技術は，軍事方面でも研究が盛んであるため，FPSの世界観を構築する要素として，改めて注目を集める可能性もある。

画面上のコマンドを思考で選択

複雑な動きをさせることも

　前置きが長くなってしまったが本題に入ろう。
　b（BRAIN）スポーツとは，非侵襲式で出力型BMI技術を用いたもので，脳波をトリガーにしてロボットを操作したり，集中力を鍛えたりと，競技性のあるゲームにおける可能性を試すものだ。将来におけるBMI技術を利用したサービスやゲーム，それらを用いる社会を想像しやすい展示でもあった。

　ざっくり言うと，「動いてほしいなあ」と明確に思うと，それを受けてちゃんとロボットがアクションを実行してくれる。これは，「筋萎縮性側索硬化症」（ALS）のように，患者との意志疎通が難しくなる難病におけるコミュニケーション手段として研究が進む「ニューロコミュニケータ」をベースにしているそうだ。
　展示で試せたものは，コマンドを並べた「階層」が1種類だけだったが，ニューロコミュニケータではさらに細かく，8つの階層による最大512通りのコマンドを設定可能だという。ちなみにニューロコミュニケータの場合，ユーザーがよく使用するコマンドが選びやすくなるそうで，バイタル（生命兆候）や室温なども影響するのだろう。

左の画面にあるコマンドを選択すると，ロボットが動くする。右の画面にあるものは，ニューロコミュニケータ用のコマンドのようだ

　実際の操作を紹介しておこう。
　まず，8つのコマンドかイラストがディスプレイに表示されており，一定間隔でランダムにいずれかのコマンドが点灯する。実行したいコマンドが点灯したときに，何かしら念じると操作判定が行われるので，これを複数回繰り返して，最終的な判定精度を向上させるという仕組みであるそうだ。
　とてもシンプルな操作だが，展示自体は脳波による操作の訓練用的なものであり，後述するが実際にはもっと複雑なこともできる。

シュート成功のコマンドに「これかな」が表示された瞬間，「動け！」みたいに念じるだけという簡単操作

シュート成功時の表示。画面中央にグラフがあり，判定回数に応じてグラフが伸びる。回数で判定しているが，長く使うほどクセも把握していくそうで，徐々に精度は高まるそうだ

　実際に使用する前には，目を閉じた状態でキャリブレーションを行う。人間が目を閉じた状態ではアルファ波が，目を開いたときはベータ波が出ているそうだ。ただ，集中した状態では，目を開けていてもアルファ波が出るため，それを独自アルゴリズムで解析して，コマンドを選択する意志を判定する仕組みと思われる。

キャリブレーション前の脳波（左）と，判定に使用した脳波（右）

操作を一定回数実行したあとの結果。左下にある波形がキャリブレーション時のもので，右が平均となる。シュートのミスはなかったので，理想的な結果であるそうだ

　慣れがある程度必要になるが，その人に最適化されていくと，より少ない回数で判定可能になり，ごくシンプルなものであれば，1回でも成功できるそうだ。今後の研究が進めば，画面上でコマンドを選ぶという手間を省いて，コマンドを直接実行可能になっていくだろうとのこと。さらに，感情の数値化が進んでいくと，ゲーム内での展開に応じて適切なコマンドを表示したり，自動的にアイテムを使用するようなことも考えられる。

　コツとしては，手元にゲームパッドがあると見立てて指を動かすと，狙い通りの判定になりやすい。それに加えて，脳内でボタンを押しているイメージを思い描くのがよさそうだった。説明員からも，「その方法がもっともとっつきやすい」との回答も得ている。類似する経験がなかったので，筆者は，FPSプレイ時にスナイパーライフルで狙撃するノリでトライした。
　今回の体験では，シュートという1つのアクションを実行するだけだったが，システム自体はより複雑な操作も可能だ。以下の写真は，画面上の8コマすべてに異なるコマンドを割り当てたものである。

高難度の操作。これもコマンドが点灯するタイミングで何かを念じると，判定が行われる

　1つの動作だけでなく，ロボットを前後左右へ動かすこともコマンドで実行可能だ。

移動も可能。思い通りに動くかどうかは別として，機敏に動かすこともできそうだ

　研究チームの長谷川氏は，「脳波だけでゲームの操作ができるようになれば，たとえばALSを患う人であってもゲーム大会に参加できる。とても強い選手が，実はベッドで寝たきりだったという未来もあるだろうし，それはとてもフェアなことではないか」と述べていた。現在は，上記のシステムをベースとして，これにAIを組み込んでの研究開発を行っているそうだ。
　インタフェース開発や豊富なデータサンプリングについては，パートナーを探しているとのこと。アーケードでの利用やゲーム開発のノウハウを必要としているとのことだったので，興味のあるゲーム開発者は，ぜひコンタクトしてほしい。

「脳の運動会 bスポーツ」

産業技術総合研究所の人間情報研究部門ページ