［GDC 2017］VR音楽制作アプリの開発者が語る「VRにおけるユーザーインタフェース」のポイントとは

SteamのSoundStage製品情報ページ

　Steamでアーリーアクセス版が販売中の「SoundStage」を知っているだろうか。
　SoundStageは，Hard Light Labsというデベロッパが現在も制作中の音楽制作アプリケーションで，VR（Virtual Reality，仮想現実）対応のヘッドマウントディスプレイ（以下，HMD）であるHTCの「Vive」とOculus VRの「Rift」に対応している。

　VRといっても，SoundStageはゲームではない。VR空間の中にシンセサイザやドラム，シーケンサなどを配置し，それらを使って音楽を制作するツールである。
　言葉で説明してもイメージするのは難しいと思うので，まずはどんなものか，Hard Light Labsが公開したデモ動画を見てみてほしい。

Logan Olson氏（Experience Designer, Hard Light Labs）

　このSoundStageを開発したHard Light Labsが，GDC 2017の初日である北米時間2月27日に，「Making Music in VR: Interaction Design for Creative Production」（VRでの音楽制作：創作活動のためのインタラクションデザイン）と題する講演を行った。題材となったソフトウェアはゲームではないものの，講演の主題は「VRにおけるユーザーインタフェース」であり，SoundStageの開発を通じて得られたVR向けユーザーインタフェース（以下，UI）の知見や，将来のUIデザインなど，興味深い話が多かった。
　そこで本稿では，この講演の概要をレポートしたい。講演を担当したのは，Hard Light LabsでExperience Designerを務めるLogan Olson氏である。

2016年7月7日にSteamのアーリーアクセスで公開したSoundStageは，高評価が97％という高い支持を受けているとのこと

アナログシンセサイザをVR空間で作って音楽制作

　まずOlson氏は，SoundStageの開発に至る経緯から話を始めた。
　氏によると，SoundStageを制作した動機は，「1970〜1980年代における音楽制作の雰囲気をVRで再現したい」という思いだったという。とくにOlson氏が重点を置いたのが，アナログシンセサイザの再現だ。
　アナログシンセサイザは，オシレータやモジュレータといった機器を「パッチケーブル」と呼ばれるケーブルでつなぎ，これらを使って音を作るのだが，SoundStageでは，これをVR空間で実現することを目標にしたとのことである。
　またOlson氏は，音楽制作の現場で長く使われている開発用ソフトウェア「Max」のVR版を作ることも，目標であったと述べていた。

　こうした目標に加えて，「1970年台初期におけるコンピュータグラフィックスの雰囲気」（Olson氏）を重ね合わせることで，1970〜1980年代っぽさを醸し出すVRアプリケーションとして誕生したのがSoundStageというわけだ。

Olson氏が掲げたSoundStageの開発目標。氏によると，スライド左下に見える古めかしいCGは，1980年代に放映されたペプシのTV CMだそうだ

VR空間であっても2D的なUIが効果的

再現できない触感は視覚で表現

　そんなSoundStageを制作したことで，Olson氏らはVRに関するさまざまな知見を得たという。

SoundStageにおけるUIの例。VR空間に置いた機器を，Viveのワンド型コントローラや，Oculus VRの「Touch」など，手に持ったコントローラで“触って”操作する

　最初に氏が取り上げたのは，オシレータのUIだ。アナログシンセサイザにおけるオシレーターとは音色の素になる音を作る部分のことである。
　SoundStageでは，VR空間にアナログシンセサイザを構成するさまざまな機器を設置して扱うのだが，そうした機器をユーザーが操作するときは，「2次元的なUIが有効だ」とOlson氏は述べる。いわく，「現代では多くの人がタッチパネル的な操作に馴染んでいる」。VR空間でもあえてタッチパネル風の操作を取り入れると，ユーザーは自然に操作できるのだそうだ。

VR空間の中でも「タッチパネル風の2D的なUIは有効だ」とOlson氏

　一方で，VR空間で何かをつかむ操作をUIに取り入れるというアイデアも悪くはないが，物体の奥行きをUIに取り入れるのは，難しい面があるとのこと。「物体がどのくらい離れているのかをユーザーが判断するのは，現在のVRではまだ難しいから」だと，Olson氏はその理由を説明していた。

　現行世代のVRではうまく表現できず，それでいてSoundStageにとっては極めて重要な要素となるのが，触感だという。SoundStageでは，VR空間でドラムやキーボード，マラカスといった楽器を使って音楽を作れるのだが，それらの楽器に触れたときの触感を再現できないことが，問題になったそうだ。Viveのワンド型コントローラには振動機能があるはずだが，それではまだ十分ではないということなのだろう。
　そのため，SoundStageでは仕方なく，鍵盤やドラムスティック，マラカスを光らせて触感の代わりにしたそうだ。

VRに触感がないことが，ドラムやキーボード，マラカスの再現で問題に。SoundStageでは，光らせることで代わりにした

　ここまでを振り返ってOlson氏は，VRにおけるUIについて，2次元的に，そしてタッチパネルなどといった現実の操作系を模倣するのが効果的であることと，現時点だと触感は諦めるほかないことを，SoundStageの開発から理解できたとまとめている。

SoundStageで得られた知見と課題。2次元的なUIや既存のデバイスを模倣することが効果的な一方で，触感は諦めるしかないとOlson氏

次世代のUIは複合現実感やタンジブルが鍵に

　Olson氏による講演の後半は，SoundStageで得た知見を基にして，次世代のUIを考えようというものだ。SoundStage自体が，まだ完成していないアーリーアクセス版という段階なので，次世代に話を進めるのは気が早いようにも思えるが，SoundStageでの経験で想像力を掻き立てられたのだろう。

　さて，Olson氏によると，次世代のUIを考える上では，3つの重要な技術があるという。
　1つは，「複合現実感」（Mixed Reality，以下 MR）だ。現実の世界に仮想世界の情報を重ねるという概念や，それを実現する技術のことである。たとえばMicrosoftは，同社のHMD「HoloLens」を，MR対応のデバイスと位置付けている。

　2つめに挙げたのは音声認識技術や視線追跡技術の応用だ。
　音声認識技術は，「Amazonのデバイス（※Amazon Echo）や『Google Assistant』などで，実際に利用され始めている」（Olson氏）といった具合で，実用化段階に入りつつあり，VRデバイスやアプリケーションで利用される日も遠くはないだろう。
　視線追跡技術も，Foveが開発するVR HMD「FOVE」で中核技術として使われており，ほかのVR HMDメーカーでも追従する動きが出てきている。

　そして3つめが，「タンジブルUI」（Tangible UI）である。タンジブルUIとは，それこそ「情報」のように，本来は触れることのできない無形のデータを，あたかも触れられる物のように扱って操作するUIのこと。マサチューセッツ工科大学の石井 裕教授などが提唱している新しい概念だ（関連記事）。
　タンジブルUIでは，実際に存在しないものを触ったように感じさせるために，「モーターなどを使って触覚を表現する」（Olson氏）のだという。

Olson氏が挙げた，次世代のUI実現に重要な3つの技術

　ここで，Olson氏が「過去を振り返ってみたい」と述べて紹介したのは，1980年にマサチューセッツ工科大学が提唱した「Put That There」と呼ばれるインタフェース技術である。Put That Thereは，声や指差しでコンピュータを操作するという先進的なUIを実現しようとしたものだ。

1980年に提唱されたPut That There。ジェスチャーや視線，声を使ってコンピュータを操作する先進的なUIだった

　YouTubeにデモの動画がアップロードされているので，興味のある人は，ぜひ見てほしい。


　Olson氏は，MR，音声および視線認識，そしてタンジブルUIという3つの技術と，Put That ThereのようにスマートなUIが融合することで，次世代のUIデザインが見えてくるのではないかと述べていた。

Olson氏が考える次世代のUIデザイン。MRとタンジブルUI，音声，視線認識技術が融合して，次世代のインタフェースデザインが生まれるという

　ゲームと直接は関係ない話題に終始した講演だったが，Olson氏らが開発したSoundStageを使ってみると，何か新しいUIの可能性が見えてきたりするのかもしれない。氏によると，音楽に詳しい人だけでなく一般の人でも楽しめる作りだそうなので，興味のある人は，Steamで体験してみるといいだろう。

SteamのSoundStage 製品情報ページ

SoundStage 公式Webサイト

GDC 2017記事一覧