ベンチマークテスト「Basemark OS II」を使ってみる──まずはテスト内容をチェックする

[長浜和也，ITmedia]

信頼性を情報公開で保証する

　「Basemark OS II」はRightwareが1月20日から配布を開始したベンチマークテストだ。対応するOSは、Android 3.1以上、iOS 6.0以上、Windows Phone 8以上と、モバイルデバイスの処理性能測定を主たる目的としている。

　モバイルデバイス向けのベンチマークテストは、QuadrantシリーズやAntutuシリーズが有名で、モバイルOSを導入するデバイスのレビュー記事では、まず、この2種類の測定結果を紹介したうえで、3Dグラフィックス描画性能を測定する3DMarkシリーズや、HTMLやJavascriptなどの“Webブラウジング”性能を測定するVellamoを測定する。RightwareがモバイルOS向けに公開しているベンチマークテストを採用するレビュー記事も多いものの、その登場機会や優先順位からするとVellamoや3DMarkシリーズと同じ「ベンチマークテストを重視したレビュー記事」「余裕があるのでやってみた」という位置づけだ。

　その一方で、2013年になって、「特定のモバイルデバイスで一部の有名ベンチマークテストのスコアが異様に高くなる」という事例が発生し、ベンチマークテストに対する信頼が揺らいでいる。Rightwareでは、このような状況において、「ベンチマークテストの信頼性を維持するには、情報の公開と毅然として、かつ、迅速な対応」が必要と考えている。

　Rightwareは、今回の“特定モバイルデバイスでの異様なスコア”が表面化する前から情報の公開について重視しており、今回公開したBasemark OS IIでも説明資料に収録しており、個別のベンチマークテストごとに測定内容とスコアの計算式を明らかにしている。ユーザーは、Basemark OS IIが何をしているのかを把握したうえで測定した値を評価するすることができる。

Basemark OS IIの実行画面。グラフィックステスト以外は、スライドバーが進捗を示すだけのシンプルな画面だ（写真＝左）。スコア表示画面（写真＝中央）。デバイスのハードウェア構成やOS情報、サポートするファンクションも表示できる（写真＝右）

Basemark OS IIはなにをやっているのか

　Basemark OS IIは、「System」、「Memory」、「Graphics」、「Web Brawsing」の個別テストを収録している。個別テストのそれぞれでさらに細分化したベンチマークテストが走っているが、無料の」Free Versionでは、それらのベンチマークテストで測定した値を総合した“Overall”を表示する。

　System Testでは、主にCPUの演算処理性能とシステムメモリの転送速度を測定する。収録するベンチマークテストには、整数演算と浮動小数点演算、XMLツリーデータ処理、CPUシングルコア処理速度、CPUマルチコア処理速度をそれぞれ測定している。

　Memoryテストは、PC向けベンチマークテストでいうシステムメモリではなく、モバイルデバイスのデータストレージとして使うフラッシュROMのパフォーマンスを測定する。個別テストとしては、固定長データ（1Mビット）の書き出しと読み込み、可変長データ（64Kビットから16Mビット）の書き出しと読み込み、フラグメンテーション処理のそれぞれで転送速度を測定する。

　Graphicsテストは、測定するデバイスのOSがAndroid、または、iOSの場合でOpenGL ES 2.0、Windows Phone 8でDirectX 11（Level 9_3）のそれぞれで描画処理性能を測定する。テストはユーザーインタフェースにおける描画性能を測定する2Dグラフィックステストと、3Dグラフィックステストを用意している。

　3Dグラフィックステストでは、複数のシェーダ演算やバーテックス演算処理などでGPUプロセッシング性能を評価している。また、オフスクリーンテストでは、1080p動画の100フレーム分をバッファに書き込む処理速度を測定している。なお、グラフィックステストのスコアとしては1つのテストとしてまとめて算出している。

　Web Brawsingテストでは、CSS 3Dトランスフォーメーションを使った処理速度とCanvasによるJavaScript処理速度、そして、CSSのResize処理処理速度を測定している。

グラフィックステスト画面（写真＝左）。オフスクリーンテストでは1080p動画を100フレーム分バッファに書き込む処理速度を測定する（写真＝右）

Web BrawsingテストのCSS 3Dテストと（写真＝左）HTML5のCanvas動作テスト（写真＝中央）、そして、CSSリサイズ処理テスト（写真＝右）

　次回は、実際に複数のモバイルデバイスでBasemark OS IIを走らせて、そのベンチマークテストの結果と、複数回実行したときの「スコアのブレ」を確認する。