［gamescom］最小限のハードウェアで音を現実世界に定位させる「Waves Nx」，そのほぼ完成版一式を体験してみた

　プロユースのオーディオプロセッサソフトウェアやハードウェアで知られるWaves Audio（以下，Waves）が，ヘッドフォンやヘッドセットの利用時に，音を現実世界に定位させる技術「Nx」を，VR（Virtual Reality，仮想現実）にも対応した，ゲーマー向けのヘッドトラッキング対応3Dサウンドシステムとして展開することが明らかになったのは，2016年3月，Game Developers Conference 2016のことだ（関連記事）。

　その後，Waves AudioがKickstarterでNx用ヘッドトラッキングモジュール「Nx Head Tracker」の資金調達を行ったという話も4Gamerではお伝え済みだが（関連記事），あの後，無事資金調達に調達した同社から，「Gamescomにあわせて，Nx Head Trackerはもちろん，Webカメラを用いたヘッドトラッキングも実現したソフトウェアを一式全部試せるんだが，ちょっと来ないか」というお誘いがあった。
　これ幸いと，お招きにあずかることにしたので，今回は，実際に試してみたレポートを簡単にまとめてみたい。

VRの没入感を強化する3Dサウンド

　さて，筆者が最初に体験したのは，HTC製ヘッドマウントディスプレイ「Vive」用のVRスカッシュ的なゲーム「Racket: Nx」だ。

Racket: Nxは，ボールをラケットで打って黄色いターゲットを破壊するゲーム。ちなみに写真のモデルは，今回応対してくれたWavesのIdan Egozy（イダン・エゴジー）氏（Production Manager, Waves Audio）である

　Racket: Nxは，Room Scaleを使ったスカッシュ的なゲームとして，わりと普通の仕様になっている。プレイヤーは円筒状の仮想空間に立ち，ラケット（＝Vive専用コントローラ）でボールを打って，壁に置かれたターゲットに命中させる。プレイ時間には制限があるが，ボールがターゲットに当たれば制限時間を延ばすことができるので，なるべく正確に目標にボールを当てて，時間とスコアを稼いでいくことになる。
　これ以外にも細かなギミックはいろいろあるものの，大筋として言えばシンプルな作品である。

ラケットを眺めてみたところ（のミラー表示）。スコアはラケット上に表示される

　だが，そんなRacket: Nxを，Nxのヘッドトラッキング対応3Dサウンド機能を有効化してプレイすると，得られる感覚はまるで変わってくる。ボールが空中を飛ぶ音や，ボールが壁に当たったときの音が，仮想空間内でボールが存在する方向から聞こえてくるため，より自然に，ボールのある方向を把握できるのだ。
　ボールの動きが速いため，慣れないと音で方向が分かってもボールを追えない――ラケットで打つなどもってのほか――こともしばしばだが，リアルな音場がもたらす没入感は非常に優れたものだった。

　Racket: Nx自体は「Steam VR Store」でデモ版を無料で入手できるので（関連リンク），Viveを持っていて，かつルームスケールVRを活用できる部屋があるなら，ぜひ試してみてほしい。

音源の周りをぐるぐるしている筆者

　なお，Vive＋Nxではもう1つ，仮想空間に音源を配置し，そこを自由に歩き回れるというデモも試させてもらった。こちらはアクション性が皆無の，いわば技術デモであるため，よりはっきりと音の方向や場所，音源が動いていく様子などを把握できるようになっていた。

スマートフォン＋αで3Dサウンドを再現

　さて，VRとNxの相性がいいのは分かったが，とはいえ，「Viveを持っていて，ルームスケールVRもフル活用できる環境」を持っている人となると，個人レベルではそう多くないだろう。というか，これだけだと，「すごそうだけど自分には関係ないかな」というのが正直な感想ではなかろうか。

　だがNxの実力は，VR対応HMDと組み合わせなくても，存分に発揮される。というか，個人的に言えば，VR HMDを使っていないときのほうが本気度を感じたくらいだ。

撮影が許可されなかったので，こちらはCGだが，NX Head Tracker

　というわけで，Viveでのデモに続いて体験させてもらったのが，Kickstarterキャンペーンの対象にもなったNx Head Trackerである。
　こちらは一般的なヘッドフォンやヘッドセットに装着して使う小さなデバイスで，頭の向きをトラッキングする機能を有している。これにより，Viveでのデモと同様，より自然な音場を擬似的に作れるというのが，Nx Head Trackerのアピールポイントだ。

　デモ機の構成は実にミニマムで，スマートフォンが1台と，ヘッドフォンやヘッドセットが1台，Nx Head Trackerが1個。スマートフォンに入っている音源はサラウンドエンコードされたものだが，それ以上にNx向けの特別な処理がなされているわけではない。
　この状態で，スマートフォン側のNxエフェクタを有効化すると，ごく普通の2chステレオヘッドフォンから立体的な音が聞こえるようになる。

　筆者の個人的な感覚で言うと，「前から音がする」というよりは「前方やや上から音がする」雰囲気があったが，左右方向に関してはほぼ違和感がなかった。音源はライブ演奏のビデオなのだが，ファンの歓声に至るまで，非常に自然な「音の空間」ができている。
　ちなみに，今回のデモでは先ほど述べたとおりサラウンドエンコードされた音源を使ったが，通常の2ch録音された音源でも，より自然に音を聞けるとのこと。もちろんヘッドトラッキングの恩恵も得られるという。

Webカメラで3Dサウンドを再現!?

　最後に，Webカメラを用いてヘッドトラッキングを行う技術を体験させてもらった。
　こちらも構造はシンプルで，用意する機材はPCとWebカメラ，ヘッドフォン（やヘッドセット）だけだ。Wavesが提供するソフト「Nx app for Windows」をPC上で実行すると，ソフトはWebカメラを使ってユーザーの頭が向いている方向を判断し，それに合わせて「正しい」音場を再現。そしてそれをヘッドフォン出力することになる。

Nx app for Windows開発途上版

　Webカメラがあれば，リアルタイムでユーザーの頭の向きや表情をかなり正確に取得できるというのは，「Facerig」のような技術でもお馴染みかと思う。
　音の場合，より高い精度が必要なのではと思ったのだが，Wavesによれば，測定誤差は1度未満だそうだ。実際，この組み合わせでNxを試してみたが，Nx Head Trackerを使ったときとの間に違いを感じることはなかった。

　さて，となるとここで欲が出るのが人間というもの。「5.1chや7.1chのサラウンドサウンドソースを用意すると，このシステムで，より立体感のある音を聞くことができる」のであれば，VRでなくても，ゲームのサラウンドサウンドをより立体的，かつより自然に聞くこともできるのではないだろうか？
　そのあたりを突っ込んで聞いてみたところ，リメイク版「DOOM」をこのセットで試させてくれることになった。

　体験してみた結果から言うと，Nx app for Windowsを使ってNx機能を有効化するのとしないのとでは，驚くほど体験に違いがあった。動きの激しいゲームなので，「どちらの方向から敵が来ているか足音で分かる」というところまではいかなかった――慣れれば可能かもしれない――が，没入感や臨場感がまるで異なる。
　今回はゲーマー向けノートPCでの体験となったが，大画面ディスプレイと組み合わせれば，より高い効果が得られるだろう。またFPS以外にも，レースゲームやフライトシミュレータなど，恩恵が大きいゲームジャンルは多そうだ。

　とはいえ，音の遅延といった問題は気になる。Webカメラでヘッドトラッキングをして，かつそれに基づいて音のデータを処理するのだから，通常より余計な負荷がかかっているのは間違いない。
　今回に関して言えば，VR対応の高性能なゲーマー向けノートPCを使ったため，遅延らしい遅延は感じなかったので，一定レベルの性能があれば，気にしなくていい可能性はある。ただこのあたりは今後，最終製品版が出てきたときに再度試す必要があるだろう。

手持ち機材で「音を現実世界に定位させられる」Nxの魅力

　Wavesとしては今後，Kickstarterプロジェクトのスケジュールに沿ってNX Head TrackerとNx app for Windowsのセットを99ドルでリリースしたうえで，Nx Head Trackerの廉価版実現を目指しつつ，PCメーカーやスマートフォンメーカーに，プリインストールアプリとしてのNxシステムを組み込んでもらうよう，交渉していくつもりだという。
　Webカメラを使ったPC版は，Bluetooth接続のデバイスだと技適の問題を抱えがちな日本市場にとって，当面のベストなソリューションになりそうだが，残念ながらこちらの正式なリリース時期や価格は今のところ未定ということだ。

　また，「カメラでヘッドトラッキングが可能なのだから，スマートフォンのインカメラを使えば，Nx Trackerがなくてもシステムが組めるのでは？」と聞いてみたところ，「理論上は可能で，実際，視野にも入れている」との回答が返ってきた。
　ただ，スマートフォンの場合，動画を見たりゲームを遊んだりするときは確実に画面を見ている（＝インカメラがユーザーの方向を向いている）一方で，音楽を再生するときはスマートフォンがポケットの中に収まっていることも多い。そのため，当面はNx Head Trackerを使う方向で考えていきたいとのことである。

　よりリアルで，没入感の強い体験というものには，大きな魅力がある。その半面，どんなに魅力的な体験であっても，「めんどくさい」の壁を乗り越えるのは存外に難しい。
　これを踏まえたとき，昨今では当たり前のようにノートPCに付属しているWebカメラで3Dサウンドを実現してしまう技術は，「めんどくさい」の壁を乗り越え，広く普及する可能性を有しているように思える。
　GDC 2016ではWwiseやFMODといったオーディオミドルウェアへの対応も発表されていたわけで，Waves Audioの新技術を活用したタイトルが登場するのは，そう遠い日ではないかもしれない。

NxのKickstarterプロジェクトページ（英語）

Waves公式Webサイト（英語）