レイトレベンチの次はAIベンチ!? 3DMarkは完全なクロスプラットフォーム対応へ？ ULに聞く2019年，そして将来のベンチマーク戦略

　フィンランド時間2019年1月8日，ULのベンチマーク部門であるUL Benchmarksは，業界標準3Dベンチマークスイートである「3DMark」に，世界初のDirectX Raytracing（以下，DXR）対応ベンチマーク「Port Royal」を追加した。4Gamerではそれに合わせ，CES 2019の会場でベンチマーク開発のディレクターを務めるULのRyan McCall（ライアン・マコール）氏に単独インタビューを行うことができたので，その内容をお伝えしたい。

Ryan McCall氏（Head of Global Commercial Benchmarks, UL）

レイトレテストのPort RoyalをAMDやIntelのGPUで動作させるためには

　3DMark初のレイトレーシングテストとして登場したPort Royalには，現状，「事実上のGeForce RTX 20シリーズ専用テスト」という制約がある。AMDもIntelもDXRの対応方針を明言していないため，当面，この状況に変化は生じないはずだ。一応，TITANシリーズやQuadroシリーズにも対応製品はあるが，いずれもコンシューマ向けGPUではないので，大勢に影響はない。


　長い3DMarkの歴史においても，正式リリースされたベンチマークが，これだけ限られた環境でしか動作しないというのは過去にない話だ。
　その点をMcCall氏は次のように述べている。


Ryan McCall氏：
　それは我々のせいではない（笑）。
　お伝えしておきたいのは，Port RoyalがMicrosoftのDXR上で動作するよう制作してあるということだ。言い換えると，MicrosoftのDirectX 12が提供する機能を使う前提で制作したものであって，その点において，一般的なDirectX 12対応アプリケーションとPort Royalは同じだ。



　NVIDIAは，ラスタライズベースのグラフィックスパイプラインやレイトレーシング，CUDA，AIなどを司る新しいソフトウェアプラットフォームとして「NVIDIA RTX」を2018年3月に発表した。
　これは当時，Volta世代のGPUでしか動かなかったが，いまになって振り返ると，これは後に発表となるTuring世代のGPUに向けて準備されたものだった。

NVIDIA RTXのソフトウェアスタック図。DXRは言ってみればNVIDIA RTXのラッパーのようなものである

　「NVIDIA RTXを直接的に活用したアプリケーションであれば，Volta世代以降のNVIDIA製GPUでないと動かなくても無理はない。しかし，Port RoyalはDXR上で動作するよう開発してあるのだから，GPUベンダー限定のアプリケーションとは言えない」とMcCall氏は言っているわけである。


Ryan McCall氏：
　AMDやIntelがDXR上で動作するグラフィックスドライバを提供してくれれば，ハードウェアでリアルタイムレイトレーシングをアクセラレートできるかどうかはともかく，Port Royalを動かすことはできるはずだ。なので，ユーザーの皆さんはAMDとIntelにドライバの提供を依頼してほしい。


　2018年，Turing世代のGPU発表に前後して一躍有名になった「レイトレーシング」だが，実のところ，AMDもレイトレーシング技術の開発自体にはずいぶん前から力を入れている。その成果物が「Radeon ProRender」だ。GPUとCPUのどちらでも動作できることが基本思想になっているため，OpenCLベースとなっている。
　Port RoyalをRadeon ProRenderに対応させるような可能性はないのだろうか。


Ryan McCall氏：
　議題にも上がったことはない。レイトレーシング法という技術自体は古くからあるものだ。今回我々がレイトレーシング法を活用したPort Royalを開発したのは，「レイトレーシング法を活用したかったから」ではなく，Microsoftの提供するWindows向けグラフィックス環境向けの新機能の性能を評価するためだからだ。
　だからこそNVIDIA RTXを直接活用することはしなかったし，Radeon ProRenderも同様ということになる。


　なので，Port RoyalベンチマークにおけるNVIDIAとAMDの対決は，当面は見られそうにない。
　さて，このPort Royalには今後，どのような展開があるのか。McCall氏によると，UL社内でははっきりしたロードマップをすでに描けているという。


Ryan McCall氏：
　Port Royalでは今後もバージョンアップを行っていく。現在のPort Royalは，解像度やそのほか細かいレンダリングパラメータなどからなるプリセットに従ってラスタライズ法でのレンダリングを行い，影と反射鏡像の生成のみにレイトレーシング法を用いて描画するパイプラインになっている。算出するスコアはフレームレートに基づいたものだ。

　それに続けて，我々は2019年内に新しい測定モードを搭載する予定になっている。1つは，DXRアクセラレーションが効かない（≒レイトレーシングをアクセラレーションする仕組みを持たない）GPUでの動作をサポートすることである。たとえ話だが，何のDXRアクセラレーションもないGPUだと30fps程度だが，DXRアクセラレーションが強力であればあるほどフレームレートが上がる，といったイメージをしてもらえればと思う。


　McCall氏は先に，Port RoyalはあくまでもDXR対応テストであると述べていたわけだが，この発言は，「将来的にはDirectComputeなどのGPGPU的なアプローチによるレイトレーシングエンジンに対応する」ことをほのめかしているようにも聞こえた。
　ただし，突っ込んで聞いてみたが，そのレイトレーシングエンジンをULが自前で用意するのか，別の企業が用意するのか，McCall氏は明言を避けている。


Ryan McCall氏：
　その次に予定しているのは，これまで我々がベンチマークテストで行ってきたのと同じ「Extreme」版，言うなれば「Port Royal Extreme」だ。
　描画解像度をより高くしたり，現在は影と反射鏡像の生成に限定しているレイトレーシング要素をさらに増やして描画させるといったことを検討している。
　こちらの提供時期はまだ決まっていない。


　現行版のPort RoyalはGeForce RTX 20シリーズでそこそこ動いてしまうが，Port Royal Extremeはレイトレーシングをアクセラレーションできる仕組みを搭載したGPUにとっても相当に負荷の高いものになるはずである。

ベンチマークソフトにおいてはDLSSをどう扱うべきか

　NVIDIAのCES 2019プレスカンファレンスで，同社のJensen Huang（ジェンスン・フアン）CEOは，Turing世代のGPUが搭載する推論アクセラレータ「Tensor Core」の応用事例として，深層学習型AIを用いたポストプロセス処理「Deep Learning Super Sampling」（以下，DLSS）をあらためてアピールしていたが（関連記事），そのときサンプルとして登場したのはPort Royalだった。

Huang氏のプレスカンファレンスではPort Royalベンチマークを使ってDLSSのアピールがなされた

　初回リリース版Port RoyalにDLSSを有効化するオプションはないが，これはどういうことなのだろう？


Ryan McCall氏：
　結論から先に言うと，DLSSに対応したPort Royalを2月中に提供する予定だ。
　ただし1つ注意点を挙げると，DLSS対応版Port Royalをベンチマークモードで動作させる場合，DLSSは有効にならない。理由は簡単で，DLSSはNVIDIAのGPUでしか利用できない機能だからだ。なのでDLSSは「Feature test」の1つとして実装するつもりでいる。

　GeForce RTX 2080 Ti搭載環境で，描画解像度を2560×1440ピクセルに指定すると，Port Royalではおおむね40fps程度，NVLink SLIで動作させると60fps程度のフレームレートが得られるが，それぞれFeature testでDLSSを有効化すると，実レンダリング解像度は若干低めになり，フレームレートは20％ほど向上する。


　DLSSはAIベースの画像処理であり，その最終描画結果にはAIの推論が織り混ざる。フレームレートなどが向上したとしても，描画結果が本当にそれで正しいのかの判断が難しい。
　DLSSを正式なベンチマークテストモードに盛り込めないのはそうした理由もあるのだろう。


Ryan McCall氏：
　DLSSの処理結果が正しいか否かという正当性の判断は難しいと思う。
　現状だと，「本来の画質」に近いフレームが出力され，かつ得られるフレームレートが高いなら，3DMarkのようなベンチマークソフトからは「優秀」と判断せざるを得ない。
　しかし，「画質について，ベンチマークソフトがどう向かい合うべきか」は，ユーザー側の判断が最終的には必要になるテーマだと思う。

DirectX 12の新しいベンチマークテストは近々に予定されているのか

　DirectX 12世代のベンチマークソフト「Time Spy」が2016年7月に登場してから相応の時間が経過した。最近では，先進グラフィックスエンジンを有するゲームスタジオが，Compute Shaderを駆使したポストエフェクトやAI処理，物理シミュレーション，ジオメトリ処理，光源カリング処理などを実装して，既存のレンダリングパイプラインを拡張するアプローチで描画に取り組むケースも増えてきている。
　要するに，近年のゲームグラフィックスは「オーバーヘッドを低減したDirectX」としてDirectX 12を活用するだけでなく，それを超えたユニークな活用事例も登場しつつあるということだ。

Time Spy

　ULとしては，こうした次から次へと出てくる先進的なレンダリング技術を自社ベンチマークソフトにも適用していく予定はないのだろうか。


Ryan McCall氏：
　我々は2017年10月に4K解像度をターゲットにした「Time Spy Extreme」をリリースしたが（関連記事），Time Spy Extremeはいまでも十分にDirectX 12環境におけるベンチマークテストの役割を果たせていると考えている。
　（AMDの「Primitive Shader」やNVIDIAの「Mesh Shader」といった独自の）新しいシェーダや，新しいレンダリングパイプラインを組み込んだテストモードといったものも，いまのところは開発計画の議題になっていない。

PCMarkでは2つの新要素が追加予定

　Windows PCの総合的なパフォーマンステストを行う「PCMark 10」では，今後どんなアップデートが待っているのだろうか。


Ryan McCall氏：
　PCMark 10には今後，かなりのハイペースで機能を追加していく予定だ。
　今年，早いタイミングでリリースする予定でいるのが「Battery Profile」というテストモードで，これはいわゆるバッテリー駆動時間ベンチマークに相当する。ノートPCなどのバッテリー駆動時間を，現実世界におけるPC活用を再現して計測するものという理解でいい。

　「PCMark 8」にも同内容のテストモードは存在したが，PCMark 10のBattery Profileは，あれを最新のOS環境およびアプリケーション環境，ハードウェア環境に対応させたバージョンと言える。テスト項目は「Modern Office」「Video」「Gaming」「Idle」の4つだ。
　Battery Profileは2019年第6週リリース予定なので，もうすぐ登場ということになる。


　McCall氏は4モードについての解説もしてくれた。
　まずModern Officeは，いわゆるオフィスアプリケーションの活用を想定したテスト項目となる。スプレッドシートで図表を作成したり，ワープロソフトで文書を書いたりといった作業を，とっかえひっかえ行う内容というわけだ。。
　VideoはYouTubeやNetflixなどの動画配信サービスの視聴を想定したテストになるという。具体的には，1本の動画を連続再生するテストにはならず，そうした動画をやはりとっかえひっかえ，ザッピング視聴するような内容となる。

　Gamingは，過去のグラフィックス系ベンチマークソフト「Fire Strike」を流用した内容になるそうだが，実際のゲームプレイを想定したテストになるため，実行中はグラフィックス描画に合わせてサウンドの再生も行うことになるとのことである。
　一般的なゲームベンチは，優れたGPUを搭載した環境ではゲームそのもののパフォーマンスはよくなる一方，GPUの消費電力が大きくなるため，バッテリー駆動時間は下がることになる。「なのでこのテストモードは，そうした『設計バランス』を評価することにも貢献するだろう」（McCall氏）。

　IdleはまさしくPCのアイドル状態を再現するテストになる。
　一般に「PCのアイドル状態」とは，画面出力がオフになっても，システム自体は省電力状態下で動作し続けることを指すが，Battery ProfileのIdleテストはその状態でのテストになるとのことだった。


Ryan McCall氏：
　その次に，「Microsoft Application Performance」テストをリリースする予定だ。MicrosoftのOfficeスイートを動作させてその性能を測定するものなので，PCMark 8時代のアプリケーションテストに近い。
　PCMark 10でもアプリケーションテストはもちろんあるが，テストで採用しているアプリケーションはMicrosoft製でなかった。この点に対し，ユーザーから多くの要望が寄せられたため，Microsoft Officeを使ったテストモードを新設することにしたというわけだ。


　McCall氏によると，「Excel」「Word」「PowerPoint」といった定番に加えて，Webブラウザである「Edge」もMicrosoft Application Performanceテストには組み込んであるとのことだった。
　また，ストレージベンチマーク復活についても氏は次のとおり予告している。


Ryan McCall氏：
　もう1つ，PCMark 8には「Storage Benchmark」があったが，PCMark 10向けにも新規開発中だ。
　PCMark 10のStorage Benchmarkでは，システムに搭載されているストレージデバイスのタイプが混在していても，実際のリアルなPC使用感をスコアに反映できるように開発を進めている。たとえばHDDとSSDが混在している場合，あるいは同じSSDでもSerial ATA接続とNVM Express接続のものが混在しているケースでも，ドライブの速度がスコアを不当に上下させないような仕組みを実現できる見込みだ。

「VRMark」に新ラインナップ追加の計画。さらには“ARMark”の開発も始まる!?

　Windows環境におけるVR性能の評価を行うための「VRMark」が登場したのは2016年11月だった。

現行版VRMarkより

Ryan McCall氏：
　ULは，VRMarkの新バージョンを開発している。といっても，既存のものを置き換えるバージョンアップ版という意味ではなく，昨年リリースした「VRMark for Android」のような，新しい動作プラットフォームを対象とした新版になる。具体的には，スタンドアロン型のVR対応ヘッドマウントディスプレイ（以下，VR HMD）をターゲットにしたものだ。

　スタンドアロン型VR HMDの性能はAndroid端末以上PC未満となるので，その中間の性能を想定したテストモードを実装するVRMarkを準備中だと理解してもらっていい。まだ製品名は決まっていないが，2019年中のリリースを目指して開発を進めている。


　またMcCall氏は，AR環境の性能評価を目的としたテストの開発計画があることも明らかにした。

AR対応ヘッドマウントディスプレイの代表例と言える「HoloLens」の利用イメージ

Ryan McCall氏：
　具体的なことを多く話す段階にはないのだが，「AR環境の性能評価」プロジェクトが立ち上がった。製品名も，対象となるプラットフォームも未定。まだ初期議論の段階だが。

　（よく知られているとおり）ARという体験は，GPU性能だけでなくCPU性能にも大きく依存したものになる。周囲の環境認識などはまさにCPUに対する負荷が大きいところだ。そうした複雑なテーマを定量的にテストするのにどのようなアーキテクチャにすればいいか，現在，社内外で意見を出し合っている。
　いまやAR機能はヘッドマウントディスプレイ型のハードウェアだけでなく，画面しかないスマートフォンからも利用できるようになってきているため，ベンチマークテストの必要性を関連業界から強く訴えられているというのが現在のステータスだ。

　このARを評価するベンチマークソフトについては，いずれ正式に発表することがあるかもしれない。

将来のULベンチマークソフトはどうなるか

　McCall氏の話はまだ終わらない。さらに別のベンチマーク開発計画についても次のとおり話してくれている。


Ryan McCall氏：
　最近，業界から切望されるベンチマークソフトに「AI推論ベンチマーク」がある。これについても，我々は開発を行うべきか検討を開始した。
　直近で，サーバー側のAI学習速度を計測するベンチマーク開発の必要性は考えていないが，ユーザー側にある端末側の「推論処理」の性能を計測するベンチマークの必要性は我々も感じている。

Google製スマートフォン「Pixel 3」における「Google Lens」のデモより

　今やスマートフォンにも「AIチップ」的な名称で推論アクセラレータが搭載されたりする時代になってきており，そうしたスマートフォンではこのAI機能を活用したアプリが実際に出てきている。普段使いするような何気ないアプリまでもがAI推論処理を活用する時代の全面的な到来はもう目前といったところなので，ULもスピード感を持って開発プロジェクトの検討に入ったというところなのだろう。


Ryan McCall氏：
　とはいえ具体的なことはまだ決まっていない。テストテーマとしてどんなものが適当かもまだ検討段階だ。


　常識的に考えて「オブジェクト認識」「音声認識」「テキスト認識」あたりは定番のテーマだろうか。
　最後に，気が早いとは思いつつも，次期3DMarkや次期PCMarkの開発計画についても聞いてみた。


Ryan McCall氏：
　それは気が早いね（笑）。
　PCMark 10は2017年にリリースしたばかりなので，次期PCMarkに関する具体的な開発計画は立ち上がっていない。ただ，構想はある。そのリリース時期は数年（Several Years）後になることだろう。

　1つ言えるのは，次期PCMarkの構想において，クロスプラットフォームを検討しているということだ。
　コンピュータを活用するシーンにおいて，昨今は当該コンピュータのフォームファクタが多様化し，同時に，OSの種類やプロセッサの基本性能などにも昔ほど明解な違いはなくなってきているし，各プラットフォームで同じアプリケーションが動作することだって多くなってきた。
　なら，ベンチマークソフトのクロスプラットフォーム化を考えてもいいのではないか，ということだ。


　つまり，同一のアプリケーションワークロード（Work Load）をWindowsやmacOS，Android，iOS，あるいはLinuxで再現することで，横並びの比較を行えるようにできないか検討中だと，McCall氏は言っているわけである。
　「Photoshop」の画像処理で，エントリークラスやミドルクラスのノートPCとiPadをガチ比較，なんてことができるようになれば確かに面白そうだ。


Ryan McCall氏：
　もっとも，「クロスプラットフォーム対応版ベンチマークソフト」の実現は，むしろ（すでに一部で実現できている）3DMarkのほうが現実感があるだろう。
　いまや，あるタイトルのゲームがPCとゲーム機，スマートフォン，タブレットのそれぞれの環境で，しかもほぼ同じような描画品質で動作する事例は珍しくなくなってきている。
　「WindowsやmacOS，Android，iOS，Linuxといった各種OSプラットフォームに，DirectXやVulkan，Metalといった各種グラフィックスAPIそれぞれの組み合わせで，同一シーン，同品質のグラフイック描画をさせてその性能を比較できる次世代3DMark」の存在価値は高いはずだ。
　ハイエンドスマートフォンとミドルクラスのゲーム用ノートPCとで3DMarkスコアを比較できたら面白いと思わないか？


　以上，もともとはPort Royalの話を聞くつもりのインタビューだったのだが，McCall氏はULが抱えているかなり先のロードマップまで話してくれたため，結果的に盛りだくさんの内容となった。
　氏が今回話してくれた「新プロジェクトの数々」については，今後も折を見て，その進捗を確認したいと考えている。

UL Benchmarks公式Webサイト（英語）