　インテルは、南港展覧会会場に設けた大規模な展示ブースのほかにも、COMPUTEX TAIPEI 2010の開幕初日に行われた基調講演をはじめとする、大小あわせたセッションを数多く行っている。基調講演やPCクライアント・セッションは“大”といえるが、“小”の1つが「ベンチマーク・セッション」だ。ホテルの一室に設けれた会場で、一度に数人ずつが参加して行われたこのセッションでは、Intelが考える「これからのベンチマークテスト」について説明が行われた。

　従来、ユーザーがベンチマークテストの対象としていたのは、デスクトップPCのパフォーマンスとノートPCの携帯性能（主にバッテリー駆動時間）であったが、いまでは、テレビやハンドヘルド機器、そして、iPhoneなどのスマートフォンやiPadなどのタブレットデバイスまで、多種多様なデバイスがインターネットにアクセスして、オンラインのコンテンツを再生したり、インターネット上で提供されるサービスを利用していたりする。

　ネットワーク上にアクセスしてさまざまなサービスを利用するとき、PCもPC以外のデバイスもスクリプトで記述されたプログラムを処理することになるが、この場合、パフォーマンスとして評価しなければならないのは、デバイスのハードウェア的な処理能力だけでなく、アプリケーションに依存する要素、そして、デバイスで利用できるサービスの品質（例えば再生画像のクオリティやコンテンツ再生までダウンロードに要する時間など）を決定する要素といった複数の評価軸によって総合的に決まるとIntelは説明する。

多くのユーザーにとって従来はPCのみがベンチマークテストの対象であったが、多種多様なデバイスが同じインターネットサービスを利用するようになり、PC以外のパフォーマンスも同じ指標で評価する必要が出てきた（写真＝左）。これからは、インターネットサービスがどれだけ快適に使えるのかを評価するベンチマークテストが求められるが、デバイスのパフォーマンスだけでなく、アプリケーションに依存する項目などを総合的に評価する必要がある（写真＝右）

インターネットサービスを想定したベンチマークテストの評価基準とは

　しかし、既存のベンチマークテストでは、異なるカテゴリーのデバイスを適切に評価することができない。Intelは、この異なるデバイスを正しく評価できるベンチマークテストが必要だと考えている。

　インターネットの利用を想定したベンチマークテストでは、評価する軸として「Experience Rating System」（ネットワークが快適に使えるかを定性、定量の両面で評価する）、「Content Grouping」（3種類の利用場面を想定してコンテンツを分ける）、「New Performance Vectors」（技術動向とユーザーの利用目的の両面を考慮して、必要とされる性能を考えること）といった3つの柱を総合的に分析しなければならない。

　このうち、Content Groupingでは、「Basic」（メールや検索など、テキストベースでシンプルなメッセージを利用するサービス）、「Intermediate」（オンラインショッピングなど、複雑な表示を必要としないアクティブコンテンツ）、「Advanced」（高画質動画配信サービスのような大容量データを扱い、表示が複雑なメニュー画面が利用できるサービス）を想定している。

　「Experience Rating System」では、定性的な指標として、主にWebサービスのレスポンスを基準に、遅延なくすべてが使える段階から、一部の処理が遅くなる、重くてまったく反応しないなどの5段階で評価し（細かいランクの策定はインテルのUser Experience Research Groupが検討を進めている）、定量的な指標としては、「The Art of Application Performance Testing 」で提唱されているアイデアに基づいたテストの反応速度を基準に5段階で評価するとしている。

あるデバイスで、インターネットがどれだけ快適に使えるかを評価する場合、反応速度をインターネットで利用するサービスの複雑さで分けて測定し、ユーザーの利用動向を考慮する必要がある（写真＝左）。インターネットで利用するサービスは、その複雑さによって、テキストベースなのか、比較的単純なインタラクティブメニューなのか、高度なメニューと大容量のデータを扱うか、などの指標で3段階に分類する（写真＝右）

インテルが25のWebサイトで提供されている3つのカテゴリーのサービスを、利用しているスクリプトごとに分類してそのウエイトを示した（写真＝左）。Intelでは「Experience Rating System」の5段階評価で用いる指標を策定している。定量的な指標は反応速度で評価し、定性的な指標としてはサービスの反応に対するユーザーの主観的な印象を基準とする（写真＝右）