ITの大バーゲンが加速する「ビッグデータ」活用の潮流：“ビッグデータ”が経営を変える

もはやバズワードという一言では片付けられないほど大きな注目を集めている「ビッグデータ」。このテーマに対して企業はいかに取り組むべきか。

[浅井英二，ITmedia]

　ソーシャルメディアが広く市民権を得たのに歩調を合わせ、ITの表舞台に躍り出てきたのが「ビッグデータ」だ。その潮流は、「またふわふわしたバズワードか」といぶかっていた企業の情報システム部門も無視できないほど大きなうねりとなっている。

　ビッグデータとは、その収集、管理、そして処理が従来の情報システムではコストや時間がかかりすぎ、現実的には活用が難しいサイズのデータセットを言う。日々増え続けるソーシャルメディアの書き込みやWebサーバが生成するログデータなどはすぐに思い浮かぶだろう。RFIDのようなさまざまなセンサーが刻々と生み出すデータもある。また、電話会社の通話詳細データや、医療分野のゲノム情報、イメージ／ビデオのように既に馴染みの深いものもビッグデータの範疇に入る。

　もちろん、どれくらいのコストや時間が許容できるかは、そのデータの活用目的や組織・企業などによって異なる。数百億を投じて世界一を目指すスパコン国家プロジェクトもあれば、金融、通信、流通などではテラバイト級、いやペタバイト級の巨大なデータウェアハウスを構築している企業もある。サイズという点では、既に多くの取り組みが行われてきていると言っていい。

　むしろビッグデータは、単に「活用し切れない膨大なデータ」というよりは、日々のトランザクションから生み出される「構造化」されたデータを補完する、例えば、ソーシャルメディアやWebログのような「非構造化」データと捉えたほうが分かりやすいかもしれない。

　あなたが電子コマースサイトの責任者だったとしよう。トランザクションから顧客の購買履歴を分析するのはもちろん大切だし、セグメント化によって類似する顧客の購買パターンを参考にして効果的な販売促進キャンペーンを展開することもできるが、できることならWebサーバが生成するログデータから行動履歴を把握したいところだ。これを購買履歴と掛け合わせることでより深い洞察を得られるからだ。何よりも買ってくれたデータだけでなく、大半の「買ってくれなかった」データを生かすことができるのは大きいだろう。

　また、ある携帯電話事業者では、顧客に提供しているソーシャルメディアサービスの書き込みなどを分析して、解約や他社への乗り換えの予兆を把握し、サービス利用状況から最も望むだろう魅力的なオファーで顧客をつなぎ留めることを目指している。成熟した市場では、顧客が離れることを防ぐことが最も重要な施策となるからだ。

　こうした「ビッグデータ」の分析がローコストかつ短時間で行え、構造化されたデータの分析を補完することが現実味を帯びてきた背景には、多数のコンピュータで分散並列処理するためのフレームワーク「MapReduce」の存在がある。Googleがサーチエンジンの基盤技術として採用するなど、インターネット企業によってその有効性が実証されてきたものだ。最近、「Hadoop」という言葉を聞くことが多いだろうが、これはMapReduceの代表的なオープンソース実装だ。

　ITベンダーの中には、このHadoopを扱いやすいアプライアンスとして仕立てるところもあれば、Hadoopとの容易な連携、つまり、Hadoopで分散処理した分析結果を容易に取り込める機能を売り込むところも出てきている。

　Hadoopは分散処理なので、コンピュータは台数が多ければ多いほど、より大量のデータを短時間で分析できるが、PCサーバが幾ら安価になったとはいえ、データセンターに何百台も並べ、しかも維持管理していくのは現実的ではない。ここでもインターネット企業が自らの事業を進める中でその有効性を実証してきた「クラウド」が役に立つ。必要に応じてコンピュータ資源を調達できるパブリッククラウドをうまく活用すれば、コストも大幅に節約できるはずだ。

　ビッグデータの活用はこうしたITの大バーゲンによって現実味を帯びてきたと言ってもいい。ならば活用しない手はないが、気を付けておきたいのは、多くの企業にとってはビッグデータの活用は補完的なものであるということだ。ビッグデータへの取り組みは、既存のデータ分析と活用が十分結果を出しているかを問い直してからでも遅くないだろう。