News	2002年8月29日　11:58 PM 更新

モバイルベンチマークの「あるべき姿」は？

ノートPCのベンチマークテストは昔から難しいテーマだった。最新のMobileMark2002では、より現実に即した測定ができるようになっているが、それでもまだ問題は残っている

　ノートPCのカタログで当てにならないのが、バッテリーの持続時間だ。3時間半とあるのを信用すると、2時間足らずで怪しくなったりする。慣れてくれば、“そんなもん”と見当を付けて使えるようになるが、なにかだまされたような気がするのは否めない。

　どうしてこんなことになるのか。最大の理由は、ノートPCにはその利用実態に合ったベンチマークテストで、なかなかよいものがなかったからだ。もちろん古くからモバイル用と言われるベンチマークは存在するし、（パフォーマンステストなら）デスクトップ用のそれを使うことだってできる（あくまで“使える”ということだ）。しかし、これらの計測方法と実際の利用には開きがあるから、前述のようにバッテリーのカタログ値は当てにならないし、ついでに言えば、”体感”パフォーマンスもベンチマーク通りとはいかなかったりする。

　こうした“ズレ”は、実はPCメーカーやCPUベンダーにとってもアタマの痛い問題だった。標準的で信頼できるテスト方法がなければ、カタログ値はある意味でメーカーのやり方次第になるからだ。良心的（？）な会社ほど損をするという不公平なことも、実際起きていた。

　そこで利用実態により即したモバイル用のベンチマークテスト方法として、今年6月にBAPCo（Business Applications Performance Corporation）が発表したのが、「MobileMark2002」だ。BAPCoはベンチマークテストの標準化を手掛ける業界団体で、PCメーカーや半導体メーカー、ソフトベンダー、出版社、独立系のテストラボなどが参加している。

　では、MobileMark2002は、これまでのテストと何が違うのか。8月29日に行われたインテルの記者説明会で、IA技術本部シニア・アプリケーション・スペシャリストの土岐英秋氏がこのあたりを平易に解説していた。

既存テスト手法の問題点

　現時点で最も標準的なノートPCのテスト方法といえば、米Ziff Davis Mediaの「Business Winstone BatteryMark（BWS BatteryMark）」がある。土岐氏はこのBatteryMarkには、（1）複数のアプリケーションを同時に動かすことを想定していない、（2）バックグラウンド・コンピューティング環境が含まれていない――の2点で問題があったとする。

　BatteryMarkでは、フォアグラウンドでMicrosoft Officeやアンチウィルスソフトなどを決められた順番・時間使い、適宜休憩を入れる。その面では実際の人間の利用に近い環境になっているが、バックグラウンドはずっとアイドル状態で、複数のアプリケーションを同時に動かすこともない。「実際の使用環境を考えたよいベンチマークだが、こうした点で現実の利用に合っていなかった」（同氏）。

　また、日本メーカーのカタログでよく使われるJEITA（社団法人電子情報技術産業協会）の「JEITAバッテリ動作時間測定法」は、フォアグラウンド・バックグラウンドのアプリケーションの取扱いルールがないうえ、パワーマネジメントの設定に関するルールもない。ディスプレイの輝度設定は「ミニマム」と設定されている（詳しく言えば、“輝度20カンデラ以上”でMPEG-1の動画ファイルを連続再生する時間を計測する「測定法a」と、輝度設定を“ミニマム”にしてデスクトップを表示させ、そのまま放置する「測定法b」があり、テスト結果はa、b2つの動作時間を足して2で割って求める）。

　極端なことを言えば、省電力機能をフルに働かせれば、「駆動時間はいかようにでも長くすることができる」（同氏）のだ。測定法aではサウンドオフでいいし、測定法bではHDDの電源がオフでもかまわない。この数値をカタログで見て、「普通に使えばこれぐらい持つだろう」と考えると、当てが外れることがあるのは、むしろ当たり前ともいえるだろう。

MobileMark2002は何が違うのか

　MobileMark2002で考慮されたのは、テストの計測手法をより現実の使用環境に近づけることだ。まず計測では「プロダクティビティ・ワークロード」と「リーダー・ワークロード」の 2つの負荷のかけ方が用意されている。

　簡単に言えば前者はオフィスでの各種作業やコンテンツの作成など、ヘビーな使い方を想定して、その処理性能やバッテリー持続時間を計測することができる。後者はメールなどのブラウズ（閲覧）をする場合で、こちらは低消費電力モードでよい。

　テストでは複数のアプリケーションを同時に使ったり、あるいはタスクを切り替えて使うことも考慮されている。フォアでビジネスアプリを使っているバックグラウンドでウィルススキャンソフトが動く――といった、「いかにもよくありそうな」ノートPCの使用状態が、このテストには反映されているわけだ。また、レスポンスタイムの平均を基準にした処理性能を測定しており、より体感スピードに近い測定結果が得られる。

　MobileMark2002では、バッテリー持続時間からバッテリー容量1Whあたりの持続時間を算出し、電力消費効率を求めることも可能。なお、パフォーマンス結果はPentiumIII 1GHzの性能（土岐氏によればPC133であろうとのこと）を100という基準値にしているので、性能比較もやりやすい。

　ついでに言えば、インテルがこの時期にMobileMark2002の解説をわざわざしたのには、もちろん“わけ”があるとみていいだろう。同社は来年、モバイル用の新プロセッサ「Banias」を投入する。同プロセッサは省電力性能で言えば、単に熱設計電力（TDP）低減だけでなく、平均消費電力そのものを引き下げる点がウリ。そして、処理性能では「フォアグラウンドとバックグラウンドでマルチタスク処理」を行っている環境で十分なパフォーマンスを提供できることが、大きなテーマになっている。

　同社として初めてノートPCのために一から設計・開発されたというこのプロセッサの性能の“すごさ”をより正確に表現するのは、従来のテスト方法では力不足。どうしても新しい秤が必要だったのだ（これはモバイルに力を入れる同社のプロセッサ戦略全般に言えることだが……）。それがこのMobileMark2002であり、Banias登場までには、その周知徹底を図っておく必要があったというわけだ。ちなみに米IntelはMobileMark2002を開発したBAPCoの最有力メンバーであり、実際その開発にあたっても相当の“アドバイス”を行ったようだ。

説明会で示されたインテルプロセッサのMobileMark2002測定結果。Baniasのそれはあくまでイメージとのこと

それでも残るベンチマークの問題は……

　BAPCoのテスト手法にはIntelの意向が大きく働きすぎるという指摘がかねてからある（ごく最近までAMDがメンバーでなかったのが一因かもしれない）。だが、たとえそれが本当だとしても、MobileMark2002によって、ノートPCのベンチマークがより現実的な使い方に即して、しかもバッテリー持続時間と処理性能の双方を計測できるようになった――ということの価値までを否定するものではない。少なくとも、冒頭に掲げた「だまされたような感じ」を抱くような落差は、MobileMark2002によって少なくなっていくだろう。

　ただ、このMobileMark2002でも、なお現実のノートPCの使われ方を考慮していない部分が1つある。「従来のノートPCの多くは電話線、LANにつながれ、電源ケーブルに接続されていた。これまでのベンチマークはこうした使い方が前提だった」と否定した土岐氏の言葉の、後半部分に、その答が隠されている。「これからのモビリティに優れたノートPCは、電源はバッテリーに、ネットワークはワイヤレスに。そうした使われ方に合ったバッテリー持続時間の測定方法が必要だ」。

関連リンク
BAPCo

[中川純一, ITmedia]

Copyright © ITmedia, Inc. All Rights Reserved.