［SIGGRAPH ASIA］オブジェクトの物理的性質と動きから効果音を自動生成するサウンドエンジンの時代が来るか

Laurent Pruvost氏（Centre National de la Recherche Scientifique）

　兵庫県・神戸コンベンションセンターで行われた「SIGGRAPH ASIA 2015」から，ゲームにも関連のあるサウンド処理関係の講演をお届けしてみたい。「SIGGRAPHでサウンド？」と，思う人もいるだろうが，アニメーション系をテーマとした講演の1つとして行われたセッションだ。
　講演を担当したのは，仏CNRS（フランス国立科学研究センター）のLaurent Pruvost氏。テーマは「Perceived-Based Interactive Sound Synthesis of Solids' Interaction Sounds」と題する論文についてで，大雑把に言うと，剛体（Solid）が発生する音の物理的制御に関する話である。

　物理的な音の制御と聞いて，ヤマハの「VA音源」やCEDEC 2014で解説されたプロシージャルサウンドシステムを思い起こす人が多いかもしれない。今回紹介されたのは，音の波形から演算で生成していくそれらの手法とは異なり，基本的な部分はサンプリングベースのサウンドモーフィングだと思われるのだが，扱い方が「物理的」な感じだ。

　まず，Pruvost氏は冒頭で，サウンドとは「アクションに対する結果のひとつ」という定義を挙げて，「ゲーム内の状況に合った効果音を自動生成するシステムの構築が目的である」と述べた。
　例として最初に紹介されたのは，箱を傾けて玉をゴールに運ぶゲームだ。迷路を構成する板はさまざまな材質でできており，金属球が板の上を転がる音，衝突時や転がり時で状態に見合った効果音を発生する。
　文字で書くなら
「ゴトッ，ゴロゴロゴロ，キン，ガラガラガラ，コツ，コロコロコロ……」
といった感じで，木材や金属，石材といった材質の違いも音で表現されていた。

講演で披露されたデモアプリ

　「ははぁ，AIでいうところのステートマシンでサウンドをモーフィングするようなシステムを構築するわけだな」と察しのつく人もいるだろう。ただ，今回の講演は，「どのような条件で，どのような音を出すか」というあたりが肝といえるだろうか。

　このシステムでは，物体AとBの相互作用で「Bと接触したAから発生する音」と「Aと接触したBから発生する音」を合成しているわけだが，アクションの種類によって処理を変えている。


　まず，基本となる衝突の場合，「重さ」と「弾性」，「衝突速度」という3つのパラメータを与えて，音の大きさと音の鳴る時間を制御している。
　転がりや滑りについては，「小規模の衝突が連続して発生している状態」と定義されており，衝突が発生する間隔が別途定義されている。このあたりは先人の研究をベースにしているようだ。右下のスライドで採用されている手法では，滑りと転がりの中間状態をシームレスに設定できる。


　デモでは，板の上を転がっている球体が立方体にモーフィングするのに合わせて，効果音も変化する様子が示された。


　次に示されたのは，グラスハープ（※コップの縁を濡れた手で擦ったときに共振する現象）の状態を再現するための処理だ。正直「そこまで必要か」という気もしないではないのだが，接触している手の速度によって，

• 一定範囲以下　摩擦音
• 一定範囲　共振
• 一定範囲以上　摩擦音

といった処理（※さらに，遅すぎたり速すぎる場合は無音になる）が行われている。


　このような要素を踏まえて，今回のシステムでは音源のモデリングが行われている。オブジェクトには，以下の4要素が定義されており，これらの要素から，適用するフィルタを選択するという仕様だ。

• 形状
• 大きさ
• 硬さ
• 材質

　なお，フィルタでは周波数，音量，減衰量が設定されている。

　面白いのは，オブジェクトの形状による変化の部分だろう。1次元，2次元，3次元とオブジェクトの形状が変化するに従って，発生する音も変化していく。たとえば，金属の1次元状態はピアノの弦のようなもので，ピンと弾いたような音が特徴だ。
　形状の変化には，2通りのパターンが想定されている。線を「曲げる」と2次元になるわけだが，なんというか，音の響きが変わってくるのだ。1次元のオブジェクトを広げて2次元にすると，今度は，薄い金属板を叩いたようなベコベコした音が鳴る。
　さらに，それを曲げて3次元にすると「ぐわんぐわん」といった音が鳴るようになった。一方で，厚みを増して3次元にした場合は，金属塊を叩く感じになる。


　各パラメータを自在に変更できるデモが示されていたが，それぞれのパラメータはモーフィングで無段階に変形し，効果音もそれに追従していた。サウンドのデモなのに，広さ，厚さ，曲率を指定するという変わったデモだ。

パラメータを変更してオブジェクトの形状を変更するデモの様子。左は1次元状態で，右はそれを広げた2次元状態

左は板状の2次元状態を湾曲させた3次元状態で，右は厚みを増やして箱状にした3次元状態

　音の性格を決めるのは，形状よりも材質の要素が大きい。現状では，木材と金属，ガラスに石材，プラスチックの5種類が用意されているという。材質もモーフィングで変更させることが可能だ。


　このようにして，素材の物理的なパラメータによって，発生する効果音を制御できることが，一連のデモで示された。グラフィックスではシェーダが物理ベースレンダリングを行うようになったことで，比較的手軽にリアルな絵を作りやすくなってきている。それと同様に，このようなサウンドシステムをゲームエンジンと統合することで，ゲーム中の効果音設定も自動化できるようになれば，さらに省力化が図れるだろう。今後が楽しみな分野ではある。

SIGGRAPH ASIA 2015 公式Webサイト