Rightware設立者が語る「信用できるモバイルベンチマークテスト」の条件:ベンチマークチートは使ったやつが負け(2/2 ページ)
このところ、Quadrantシリーズなどメジャーなベンチマークテストの信頼が揺らいでいる。モバイルデバイスの性能評価はいかにあるべきか。その道のプロが語る。
ベンチマークチートは使ったメーカーの信頼を傷つけるだけ
サッキネン氏 Rightwareでは、ベンチマークテストの開発で高い品質を維持するために、モバイルデバイス業界の全体に対して「ベンチマークデベロップメントプログラム」を実施している。このプログラムに参加する企業は、会費を支払うことで、ベンチマークテストの開発に参加し、また、そのフィードバックを得る。テストバージョンの品質チェックを行って精度の高い測定結果が測定できるか検証した上でベンチマークテストを公開している。
プログラム参加企業が有利になるベンチマークテストになるような可能性を危惧する意見も外部にはあるようだが、このプログラムで得る利益は事業収益のほとんどをベンチマークテストのライセンス料から得ているRightwareにとってわずかなものに過ぎない。それゆえ、プログラム参加企業が有利になるベンチマークテストを開発する必要はない。
また、Basemark Xでは、市販ゲームで採用しているユニティのゲームエンジンを利用しているので、ベンチマークテストに特化した特殊なゲームエンジンを使う場合と比べて公平なスコアが測定できる。
PC向けベンチマークテストでは、ユーザーの利用場面を想定して実際のアプリケーションを利用してその処理能力を総合的に評価するようになってきているが、その一方で、その総合的な評価を検討する場合、やはり、CPUやグラフィックコアといった、パーツごとの処理能力を測定する必要がある。それゆえ、CPUやグラフィックスコア、メモリごとにベンチマークテストを動かしてそれぞれで評価する必要はあると考える。
いま、スマートフォン用ベンチマークテストとして最もメジャーなのはQuadrantシリーズとAntutuシリーズだが、Rightwareのベンチマークテストは、これまで企業向けに提供してきたため、コンシューマーユーザーに対しては、ごく一部しか配布していなかった。しかし、今後は、企業向けの高い精度と多機能なベンチマークテストをコンシューマーユーザーにも提供していくので、多くのユーザーに評価してもらえると考えている。
使っているベンチマークテストが何を測定してどのようにスコアを求めているのかを知らないままスマートフォンメーカーが製品の検証を行いその結果をアピールすると、ベンチマークテストに問題があった場合、そのスマートフォンメーカーは信用を失ってしまう。そういうことにならないように、Rightwareは、ベンチマークテストのドキュメントを公開して何を行っているのかすべて分かるようにしている。これが、QuadrantシリーズやAntutuシリーズと大きく異なるところだ。
また、スマートフォンメーカーが、ベンチマークテストに対してスコアが高く出るように特殊な操作を行った場合は、すぐにバージョンアップを行って対応しているし、これからも対応していく。
関連記事
- Androidスマートフォンで使える「3DMark」登場
Futuremarkは、3Dグラフィックスベンチマークテスト「3DMark」Android導入デバイス対応バージョンの配布を開始した。 - 最新3D描画機能を実装したタブレット向けベンチマークテスト「MOBILE GPUMARK」
シリコンスタジオは、iOSとAndroidに対応する3Dグラフィックスベンチマークテスト「MOBILE GPUMARK」の無料配布を開始した - 「ベンチマーク」「CPU」「GPU」「エコシステム」で読み解くSnapdragonの今
モバイル向けプロセッサーメーカーとしては老舗のQualcomm。スマートフォンの普及に伴って同社の存在感がさらに増している。Snapdragonの優位性、スマホの性能を測るベンチマークテストの重要性、そしてSnapdragonを取り巻くエコシステムとは――。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.