Rightware設立者が語る「信用できるモバイルベンチマークテスト」の条件：ベンチマークチートは使ったやつが負け（2/2 ページ）

[長浜和也，ITmedia]

ベンチマークチートは使ったメーカーの信頼を傷つけるだけ

サッキネン氏　　Rightwareでは、ベンチマークテストの開発で高い品質を維持するために、モバイルデバイス業界の全体に対して「ベンチマークデベロップメントプログラム」を実施している。このプログラムに参加する企業は、会費を支払うことで、ベンチマークテストの開発に参加し、また、そのフィードバックを得る。テストバージョンの品質チェックを行って精度の高い測定結果が測定できるか検証した上でベンチマークテストを公開している。

　プログラム参加企業が有利になるベンチマークテストになるような可能性を危惧する意見も外部にはあるようだが、このプログラムで得る利益は事業収益のほとんどをベンチマークテストのライセンス料から得ているRightwareにとってわずかなものに過ぎない。それゆえ、プログラム参加企業が有利になるベンチマークテストを開発する必要はない。

　また、Basemark Xでは、市販ゲームで採用しているユニティのゲームエンジンを利用しているので、ベンチマークテストに特化した特殊なゲームエンジンを使う場合と比べて公平なスコアが測定できる。

　PC向けベンチマークテストでは、ユーザーの利用場面を想定して実際のアプリケーションを利用してその処理能力を総合的に評価するようになってきているが、その一方で、その総合的な評価を検討する場合、やはり、CPUやグラフィックコアといった、パーツごとの処理能力を測定する必要がある。それゆえ、CPUやグラフィックスコア、メモリごとにベンチマークテストを動かしてそれぞれで評価する必要はあると考える。

　いま、スマートフォン用ベンチマークテストとして最もメジャーなのはQuadrantシリーズとAntutuシリーズだが、Rightwareのベンチマークテストは、これまで企業向けに提供してきたため、コンシューマーユーザーに対しては、ごく一部しか配布していなかった。しかし、今後は、企業向けの高い精度と多機能なベンチマークテストをコンシューマーユーザーにも提供していくので、多くのユーザーに評価してもらえると考えている。

　使っているベンチマークテストが何を測定してどのようにスコアを求めているのかを知らないままスマートフォンメーカーが製品の検証を行いその結果をアピールすると、ベンチマークテストに問題があった場合、そのスマートフォンメーカーは信用を失ってしまう。そういうことにならないように、Rightwareは、ベンチマークテストのドキュメントを公開して何を行っているのかすべて分かるようにしている。これが、QuadrantシリーズやAntutuシリーズと大きく異なるところだ。

　また、スマートフォンメーカーが、ベンチマークテストに対してスコアが高く出るように特殊な操作を行った場合は、すぐにバージョンアップを行って対応しているし、これからも対応していく。