Gartner Column：第24回 宿命の対決！ Regatta対Starcat，ベンチマーク結果の信憑性
| 【国内記事】 | 2001.11.26 |
ハイエンドUNIXサーバ市場におけるIBMとサンのマーケティング合戦がにぎやかだが，両者の言い分を評価するためには，パフォーマンス・ベンチマークに対する正しい理解が必要だ。
10月26日，IBMはpSeries 690（Regatta）が，Sun Fire 15K（Starcat）と比較して約半分のコストで約80％優れた性能を発揮できたと主張した。その根拠は，流体力学の計算プログラム「Fluent」による性能ベンチマークの結果である。その13日後の11月8日，サンはSPECjbb2000（Java Business Benchmark）において，Starcatの下位モデルであるSunFire 6800でRegattaを凌駕することができたことを発表した。
改めて言うまでもないが，このような性能ベンチマーク数値は実験室的な測定結果であり，ユーザーの複雑なコンピューティング環境における性能を表しているとは言えない。また，ベンダーはベンチマーク結果を優れたものに見せるために，非現実的なチューニング作業を行いがちである。それゆえ，ベンチマークの結果はあくまでも目安でしかない。しかし，目安にも比較的良い目安とそうでないものがある。
Fluentは科学技術計算プログラムであり，主にプロセッサ処理能力（特に，浮動小数点演算能力）を測定することになる。元々，サンは単独プロセッサ性能を追求するよりも，システム全体としてのバランスを重視する設計思想を採っており，このようなナンバークランチング型のベンチマークでは不利になることが多い。そして，このベンチマークは，典型的ビジネスコンピューティング環境における性能の目安として適切とは言えない。
もちろん，科学技術計算を主な目的としてUNIXサーバを購買しようとしているのならばFluentの結果は大いに参考になるだろうが。
一方，SPECJbb2000は，3階層型のビジネスアプリケーションのサーバサイドJavaの性能を「エミュレート」したベンチマークである。つまり，I/O処理は実際に行われておらず，ベンチマークコード内でエミューレートされている。このため，このベンチマークでは，JVMやJITの効率およびプロセッサの整数演算処理能力とマルチプロセッシングのスケーラビリティを評価することはできるが，典型的なビジネスアプリケーションでボトルネックとなることが多いI/O能力は評価されない。
この結果だけで，「p690はSun Fire 15Kではなく，Sun Fire 6800のミッドレンジと比較すべきマシンだ」というサンの主張を全面的に受け入れるのにはちょっと無理があるだろう。
当たり前のことだが，ユーザーの環境におけるサーバの性能比較を正確に行うためには，ユーザーの環境を評価対象のサーバ上で実際に構築して性能比較を行うしかない。
大規模なサーバ商談であれば，このような性能比較が重要なステップとなることもある。ガートナーも，クライアントからのこのような性能比較結果の報告を，サーバ製品の真の実力を見極める上での大きな考慮点としている。しかし，RegattaとStarcatは，製品出荷後間もないし，どちらも決して安価なサーバではない。このためガートナーでは，今のところ，両者の性能差をはっきりとさせるような情報をまだ入手できていない。
では，目安は目安としても，企業ユーザーの典型的コンピューティング環境をもう少し的確に表したベンチマークはないのだろうか？ 現時点では，実際のエンタープライズアプリケーションパッケージを使った性能ベンチマーク，典型的には，SAP SD（販売管理）ベンチマークが最良の目安であろう。
SAP R/3は，複雑なOLTPアプリケーションであり，ユーザーが開発した一般的OLTPアプリケーションの性能評価にも，ある程度の指標とすることができるのである。
もちろん，SDベンチマークにも限界はある。例えば，レポーティングなどのバッチ系の性能評価は対象とはなっていないし，バッチ系処理とOLTP系処理の同時並行稼働時のスループットなども分からない。また，ベンチマーク測定を行ったシステム機器のコストの提出を義務付けていないので，製品の価格性能比を比較するためには価格を推定しなければならない。
残念ながら，今のところRegattaとStarcatは同一の土俵で比較できるSAPベンチマーク結果を公表していない。Starcatは，2層クライアントサーバ構成におけるSDベンチマークのトップの結果を出しているが，Regattaの同等ベンチマークは完了していないようだ。また，3層構成では，Regattaの1世代前の製品であるp680が現時点でのトップだが，Starcatによる結果はまだ出ていない。
ということで，現時点では性能について言えばRegattaとStarcatは互角というしかない（プロセッサ能力がものを言う分野ではRegatta有利，複数プロセッサの並列処理がものを言う分野ではStarcat有利とは言えるだろう）。ある程度の目安としての結論を出すためには，クライアントからの報告と共に，SAP SDベンチマークの結果が重要なファクターになると考えている。
次週は，両サーバの性能以外の分野について比較してみたい。両製品を比較すると，IBMとサンという企業の文化の比較が見えてくるだろう。
[栗原 潔 ，ガートナージャパン]
