Rightware設立者が語る「信用できるモバイルベンチマークテスト」の条件：ベンチマークチートは使ったやつが負け（1/2 ページ）

[長浜和也，ITmedia]

プロが評価するベンチマークテストを開発する男

　iOSやAndroidといったモバイルOSを導入したスマートフォンにタブレットのベンチマークテストとして、現時点でメジャーなのは、QuadlandシリーズにAntutuシリーズが挙がるだろう。それらに比べるとRightwareが提供している「Basemark」シリーズや「Browsermark」は、また利用するユーザーが少ないものの、性能評価の経験が多いベテランなど「違いが分かるユーザー」からの支持が増えてきている。

　Rightwareは、Futuremarkに10年間在籍していたセロ・サッキネン氏が2009年に設立したユーザーインタフェースとメーカー向けベンチマークテストの開発メーカーだ。Futuremarkは、PC向け3Dグラフィックス性能測定用「3DMarks」シリーズをはじめとする数多くのベンチマークテストを開発したメーカーとして知られているが、そのメンバーだったサッキネン氏が設立したRightwareもメーカー向けベンチマークテストでは高い評価を得ている。RightwareはFuturemarkからモバイルベンチマーク部門も買収している。

　Rightwareは、新しいモバイルデバイス向けベンチマークテストとして「Basemark OS2」を配布する予定だが、その概要とRightwareのベンチマークテスト開発方針、そして、QuadrantシリーズやAntutuシリーズといったメジャーなモバイルデバイス向けベンチマークテストに対するRightwareの優位性、そして、最近問題になっている“特定メーカーのデバイス”で確認されたベンチマークテスト操作によるベンチマークテストそのものの信頼性について、サッキネン氏が語った。

ベンチマークテストで重要なのは「情報公開」

サッキネン氏　　ベンチマークテストで最も重要なのは、ベンチマークテストが何を測定しているのか、そして、その精度がどの程度なのかをユーザーが理解して使うことだ。Rightwareは、ベンチマークテストの情報をドキュメントにまとめて公開しているので、ユーザーはRightwareのベンチマークテストが何をしているのか、正確に知ることができる。

　Rightwareは、幅広いベンチマークテストを用意している。「Basemark」シリーズは、Open GLのバージョン1.0、2.0、ES 3.0のそれぞれに対応するグラフィックスコアの処理能力を測定できるだけでなく、Android、iOS、Windows PhoneとOSを超えて比較することも可能だ。「Browsermark」シリーズも多くのユーザーが利用しており、その測定結果は1000種類以上のモデルにわたってデータベースに蓄積している。

　Basemark ES 3.0も新しいベンチマークテストだ。すでに企業や開発者に向けて公開しているが、AndroidがまだOpen GL ES 3.0に対応していないため、エンドユーザー向けには配布していない。Androidが対応したらすぐに配布を始める予定だ。

　Browsermark 2.0は、Webブラウザが動くデバイスなら、PCでも携帯ゲームデバイスでもスマートテレビでも利用可能だ。テスト用のWebページにアクセスして測定するようになる。エンドユーザーにとって重要なのは、自分が使っているWebブラウザで最も処理が早いのはどれなのか把握しておくことだ。Internet Explorerで展開が遅いWebページでも、Chromeを使うと快適に利用できるケースは少なくない。

Rightwareのベンチマークテストラインアップの一部。Basemark ES 3.0は開発者向けのみの配布となっている

カメラの撮影性能測定もできる新しいBasemark

サッキネン氏　　Rightwareは、まもなく新しいベンチマークテストとして「Basemark OS2」をリリースする予定だ。幅広いプラットフォームとOSで性能の比較が可能だが、処理能力だけなく、バッテリー駆動時間の測定やカメラの性能も評価できる。カメラテストでは、フォーカスをあわせてシャッターを切り、画面を保存するまでの時間を測定する。フォトライトを有効にしたテストも可能だ。ただし、無線接続を制御する機能はサポートしていないので、実際にネットワークに接続する処理はできない。そのため、LTEや無線LANを接続した状態それぞれでバッテリー駆動時間を測定することはできない。

Basemark OS2で用意する予定のベンチマークテスト項目（写真＝左）。搭載するカメラの撮影性能も行える（写真＝右）

　なお、バッテリー駆動時間を測定するベンチマークテストは、デバイスが実際にバッテリーを消費する時間をそのまま測定しているので、時間がかかるのはやむを得ない。バッテリーベンチマークテストでは、事前に用意しているフローに従ってプログラムを動かして負荷をかけた処理を繰り返しているが、ユーザーが実行する負荷を選択することもできる。

　Basemark OS2はエンドユーザー向けのフリー版とメーカーの検証用に使うプロフェッショナル版を用意する。プロフェッショナル版はライセンス料を支払うとエンドユーザーも購入できるが、ライセンス料は4万ユーロになる予定なので、エンドユーザーの購入はあまり想定していない。

　フリー版ではスコアを出して、異なるOSやプラットフォームでも処理能力の比較が可能だ。エンドユーザーに公開するベンチマークテストで、ここまで測定できるのはところほかにないはずだ。システムテストでは、CPU、ストレージ、グラフィックス、Webアクセスそれぞれの処理能力を測定する。Basemark OS 2.0は、すでに開発を終えていて、現在、アップルの審査を待っているところだ。

　テスト結果は、フリー版では、CPU、メモリ、グラフィックス、Webの各項目における総合スコアを確認できる一方で、プロフェッショナルバージョンではそれぞれの項目ごとに詳細な結果を確認できる。スコアはテキストファイルにエクスポート可能だ。

測定結果の表示はフリー版が項目ごとの総合スコアで（写真＝左）、プロフェッショナル版では個別テストごとに詳細な結果を表示する（写真＝中央）。もちろん、システム構成も確認できる（写真＝右）