ITリーダーはデータ活用の新たな可能性を模索せよ：ガートナーと考える「明日のITイノベーターへ」（3）（2/3 ページ）

[＠IT情報マネジメント編集部，＠IT]

新たな並列分散処理技術がもたらすデータ活用の可能性

三木　ところで、現在ガートナーさんも提唱されている「ビッグデータ」の考え方は、BIの今後の在り方を考える上で重要なキーワードの1つになるかと思います。ただし、ビッグデータという言葉の定義自体が、まだあいまいなようにも感じるのですが。

「エンタープライズサーチという検索技術の次の手段として、企業が白羽の矢を立てたのが、Hadoopに代表されるような大量データを効率良く処理するための技術だ。これを巡る企業とベンダ、双方の期待や思惑が“ビッグデータ”という言葉に集約されている」――堀内秀明

堀内氏　最近、この言葉がもてはやされている背景には、単に「語感がシンプルで分かりやすいから」という理由もあるかと思います。個人用途のPCに保存されるデータのファイルサイズですら、最近では数十メガバイト、数百メガバイトと“ビッグ”になってきていますからね。

　ただし、実際にビッグデータの文脈で語られるデータサイズの増加は、「ペタバイト」や「エクサバイト」と単位が桁外れです。こうしたスケールのデータ処理技術が出てきた背景には、インターネット技術の発展があります。

　今やインターネット上には膨大な量の情報があり、しかもそれらの数とデータサイズは日々、幾何級数的に増えています。ヤフーやグーグルなどのネット企業は、それらの中から目的の情報を効率良く探し出すための検索技術を武器に成長してきたわけです。この技術を「企業内のデータを効率的に探し出し、活用するために応用しよう」としたのが、エンタープライズサーチでした。しかし世界中のインターネットユーザーを対象にしたヤフーやグーグルの検索アルゴリズムは、一企業レベルのデータ規模とはうまくフィットしませんでした。

「Hadoopのような並列分散処理技術が企業に浸透していくと、BIベンダはこれまで提供してきた自社製品の価値や価格について、再考を迫られることになるだろう」――三木泉

　しかし一方で、企業のシステムで管理されるデータ量は日々増え続けているため、何らかの対策は講じないといけません。そこで検索技術の次に白羽の矢が立ったのが、ネット企業が保有するバッチ処理技術だったわけです。すなわちHadoopに代表されるような、コモディティハードウェアをずらりと並べた並列分散処理により、大量のデータを効率良く処理するための技術です。

　企業からすれば「これは何かに使えるかもしれない」、ベンダから見ると「これはビジネスになるかもしれない」という双方の思惑があり、結果として業界を挙げてビッグデータが注目を集めている、というのが現状だと思います。

三木　なるほど。ただ、企業が保有するデータ量は、ネット企業が扱うそれと比べると、はるかにスケールが小さい。よって、エンタープライズサーチがそうだったように、同じレベルの処理技術が本当に必要かどうか、疑問が残るところではありますね。

堀内氏　そうですね。しかし、Hadoopのような並列分散処理技術の特徴は、柔軟なスケール性にあります。ネット企業が何百台、何千台のサーバを使って行うのと同じ処理が、何十台の小さな規模でも可能なのです。昨今のトレンドであるDWHアプライアンスは、こうした発想で作られたものだと言えます。

　例えば、小規模DWHアプライアンスの草分け的存在であるネティーザの製品も、コモディティハードウェアを複数並べた並列分散アーキテクチャを採っています。このように、最新の並列分散処理技術を安価にパッケージングして、手軽に導入できるようにした商品が出てきたことで、ネット企業以外の一般企業でも比較的手軽にそのメリットを享受できるようになりつつあるんです。

三木　こうした技術はBI用途に限らず、例えば財務処理や課金処理といった大規模なバッチ処理全般にも活用できますよね。

堀内氏　そうですね。インターネットクラスのスケールをハンドリングできる技術を企業クラスで応用する場合、どんな用途が考えられるのか。今はそのアイデアが問われている段階なのではないかと思います。

三木　逆に言えば、こうした技術が企業レベルでも浸透していった場合、BIベンダはこれまで提供してきた自社製品の価値や価格について、再考を迫られることになるのではないでしょうか。

「既存の高機能な製品とオープンソース系の新技術は、補完関係にあると理解した方がいい。企業のIT部門には今後、これらを目的に応じて使い分ける能力が求められてくるだろう」――堀内秀明

堀内氏　その通りだと思います。Hadoopなどオープンソース系の技術は、既存製品の価格水準をひっくり返す可能性を秘めています。一方で、既存製品を抱えているベンダにとっては、こうした新しい技術へのコミットは既存のビジネスモデルをリスクにさらすことにもなりますから、なるべくゆるやかなイノベーションを好む傾向があります。

　またユーザーにとっても、いくらオープンソース製品のライセンスは無償だと言っても、保守コストが掛かったり機能が足りなかったりして、結局はコストが高くついてしまうこともあります。従って、既存の高機能な製品とオープンソース系の新しい技術は、補完関係にあると理解した方がいいでしょう。企業のIT部門には今後、これらを目的に応じて使い分けるための「目利き」の能力が求められてくると思います。