ベンチマークテストはどうあるべきか？──インテルが「実体験」を重視する理由（2/2 ページ）

[PR／ITmedia]

PR

PCMark 10は利用アプリケーションがマイナー？

　さて、世の中にはさまざまなベンチマークテストがあることが分かったが、その計測対象となるメーカーはどのように考えているのだろうか。

　最新の第11世代Coreプロセッサー（開発コード名：Tiger Lake）を発表したばかりのインテルだが、8月に「Intel Platform Advantage」と題するオンラインイベントを開いた。ここでメインスピーカーを務めた同社のヒラル・ジワラ氏（マーケティング＆パフォーマンス担当ディレクター）により、同社のベンチマークテストに対する考え方が示されたので紹介しよう。

　まず「PCのパフォーマンスはどのような方法で測定すべきだろうか？」という問題に対し、同氏の答えは、やはり「Real World」のベンチマークを掲げた。「実在するアプリケーションでの実用的な使い方を持って計測すべき」と主張しつつ、これらを測定できるベンチマークテストとして、SYSMark 25、MobileMark 2018、WebXPRTなどを取り上げた。

　同氏は、PCMark 10にも言及し、「紛れもなくReal Worldのテストではあるが、使われているアプリケーションがマイナーである」と指摘した。

　確かに、PCMark 10は、オフィススイートのLibre Office、写真編集のGIMPなど、フリーで入手できるソフトが中心だ。SYSMark 25で使われているMicrosoft Officeや、Adobe Photoshop、Google Chromeなどに比べて、普及度や実利用時の再現度で見劣るのは否めない。

PCMark 10の“弱点”といえるのが、テストに使用しているアプリケーションだ。SYSmark 25はMicrosoft Officeなどポピュラーなアプリケーションを使う一方で、PCMark 10は、Libre Office、GIMPなどマイナーなアプリケーションを利用している

CINEBENCHはニッチなアプリケーション？

　また、同氏は「CINEBENCHはCINEBENCH 4Dの一部の処理を切り取ったニッチなアプリケーションであり、ワークロードもメニーコアに最適化されたSyntheticなもので、平均的なノートPCやデスクトップPCのユースケースとはかけ離れている」と述べた。

　この主張には一理ある。CINEMA 4Dをベースにしているため、CINEBENCH R20はReal Worldのテストと考えることもできるが、誰でも利用するようなアプリケーションを使っているSYSMark 25と同じように考えることはできない。

　日常的にCINEMA 4Dで3DCGのレンダリングを行うユーザーであれば、もちろんこの結果はストレートに受け止めてよいが、一般的なユーザーはそうでない人がほとんどだ。このスコアの優劣だけを持って、CPUやシステムの比較をしてしまうのは少々乱暴だと言える。

　もちろん、前述したように、CINEBENCH R20は受け取り方を間違えさえしなければ、有用なベンチマークテストの1つだ。ただ、これで分かるのはあくまでもCPUのピークのマルチスレッド性能、最大ポテンシャルというべきもので、（CGレンダリング用途以外での）ユーザーの体験ではないことは改めて周知すべきだろう。

バッテリー駆動中のパフォーマンスにも注目を

　先のオンラインイベントでは、モバイルノートPCのパフォーマンス評価についても問題提起が行われた。パフォーマンステストはACアダプター接続時のみ、バッテリーテストにおいては駆動時間のみが注目されがちで、「バッテリー駆動中のパフォーマンス」が盲点になっていると同氏は指摘する。

　実際に、インテルが実施した同じメーカーのノートPCで行ったSYSMark 25やPCMark 10などのベンチマークテスト結果を公表し、第10世代Coreプロセッサー搭載機は、他社製CPU採用機に比べてACアダプター接続時とバッテリー駆動時でのスコア差が少ないことを挙げ、その裏付けとしてバッテリー駆動時の電力、および周波数のモニタリング結果も提示した。

　また、MobileMark 2018におけるテストでも、他社製CPU（8コア8スレッド）搭載機のバッテリー駆動時間自体はCore i5-1035G1（4コア8スレッド）搭載機よりも長いが、パフォーマンススコアでは逆に低い結果となっている。

　こちらの指摘も的を射たものだ。同じCPU搭載PCでも、メーカーが異なれば電力回りの設定が異なる可能性もあり、それはジワラ氏も認めるところ。他社製品では異なる結果がでる可能性はなくはない。しかし、少なくとも同じメーカーの製品において、このような傾向が確認されたことは重く受け止める必要がある。

　「バッテリー駆動中のパフォーマンス」という要素はモバイルノートPCにとっては使用感に直結する要素でもあるので、しっかり注意を払うべきだろう。

ACアダプター接続時と、バッテリー駆動時の動作周波数推移を記録したもの。CoreプロセッサーはAC／バッテリー動作時を問わず、高い周波数をマークしている

こちらは、ACアダプター接続時とバッテリー駆動時のCPU消費電力の差を示したもの。Coreプロセッサーは電力差が少ないのが分かる

ユーザーの立場で重視すべきはReal Worldのベンチマーク

　Sisoft SandraやCINEBENCHのような特定のピーク性能を計測する内容のテストは派手な数値が出やすく、結果を見た人を盛り上げる要素として使われやすい。

　しかし、ベンチマークテストを何のために使うのか、得られるユーザー体験の目安として考えた時に、ユーザーがより重視すべきは“Real World”のベンチマークテスト結果であることは明らかだ。

　特にSYSMark 25のような誰もが日常的に利用するアプリケーションで構成されたテスト、あるいはゲームのフレームレート計測や動画エンコード時間の計測など、実用に直結した内容がふさわしい。

　もちろん、Syntheticなベンチマークも価値がないわけではない。PCパーツの新機能やピーク性能の確認、特性分析、放熱性能の評価などにはとても有用だ。使い方、受け取り方を誤ることなく、うまく使い分けていくことが重要だろう。

※本記事内のテストは、インテルが2020年7月9日に実施したテスト結果による自社調べに基づくもので、業界標準的なベンチマークテストプログラムやアプリケーションを使用したものです。