リアルタイムデータの分析がもたらす情報活用の未来とは：ビッグデータが切り開く新たな経営の地平

企業における情報の価値がますます高まる中で、センサーやソーシャルメディアなどによってもたらされる非構造化データをリアルタイムに分析する動きが盛り上がりを見せている。その実現の壁であった技術的な問題を独自のアプローチで解決したのがIBMだ。では一体、データのリアルタイム分析によって企業は何を享受できるのか――。

» 2011年12月26日 10時00分公開

[PR／ITmedia]

ビッグデータ時代に不可欠なリアルタイム分析

　情報の活用度をどれだけ高められるかが、企業の競争力を大きく左右する。実際に、企業の現場レベルのみならず、CEOやCIO（最高情報責任者）などのトップマネジメントもデータ分析に多大な関心を寄せており、自社に貯め込んだ膨大なデータを秒間何百万件のレベルで処理する環境を整えた企業も決して少なくない。

　また、全世界のCMO（最高マーケティング責任者）を対象に調査した「IBM Global CMO Study 2011」では、「個客」を理解し価値を提供するためのデータ活用と、それらを支えるIT基盤の整備や人材のスキル強化を課題に掲げる企業が多く見られた。

　今や、データ分析は着実に新たな段階に突入しつつある。その向かう先は、データ分析の“リアルタイム化”だ。

　一般に、従来の分析はデータベースに格納された、いわゆる静的な「構造化データ」を対象にしたものであった。しかし現在、経営環境の変化がより激しさを増し、意思決定にはさらなる“俊敏さ”や“正確さ”が要求されている。また、センサー技術の発達やソーシャルメディアといった新たなコミュニケーションツールの普及などを背景に「非構造化データ」が爆発的な勢いで増加を続ける中、“ビッグデータ”の分析によって、従来では思いもよらなかった企業経営の武器を手に入れられることに企業は気づき始めているのだ。

日本IBM 東京基礎研究所インフラストラクチャソフトウェアグループ主任研究員兼東京工業大学大学院情報理工学研究科客員准教授の鈴村豊太郎氏

　日本IBM 東京基礎研究所インフラストラクチャソフトウェアグループ主任研究員と東京工業大学大学院情報理工学研究科客員准教授を兼務する鈴村豊太郎氏は、「データベースに格納されていない非構造化データを含めた情報をリアルタイムに分析できれば、他社に先んじて競争優位性を獲得できると考えられるのだ」と、そのメリットを説明する。

　IBMでは2008年から掲げる「Smarter Planet」というビジョンの下、オープンソースベースの分散処理フレームワークや検索エンジンなどの拡充を通じ、企業のデータ分析を支援する情報分析プラットフォーム「ビッグデータ・プラットフォーム」の確立を推進。リアルタイムデータ分析の分野においても、「大量」かつ「多様」なデータを「速やか」に扱い、既存データの活用促進のために、ERP（統合業務パッケージ）やCRM（顧客関係管理）といった社内システムとも容易に連携できるような分析基盤の実現に取り組んできた。その成果と言えるリアルタイムデータ分析基盤――それが、ストリームコンピューティング技術を取り入れることで、大容量かつ変動する情報の迅速な分析を可能にした「InfoSphere Streams」なのである。

　現状、ビッグデータにおいては、大規模データをいかに高速処理するかという点が強調されている。しかし一方で、常に流れ続けているデータをリアルタイムで分析できなければ、真の情報活用とは言いがたいというのがIBMの主張である。インメモリ・データベースという選択肢を提供するベンダーもあるが、データベースにデータを入れて処理をすることでリアルタイム性が損なわれるため、データをストリーム処理することが重要である。

ビッグデータの3つの特性

ストリームデータを取りこぼさない

　リアルタイムデータ分析の実現におけるシステム面での最大の難関が、「扱うデータの種類が増えるほど構造が複雑になり、処理に要する時間が長引いてしまう」（鈴村氏）ことである。つまり、分析精度を高めるべくデータソースを増やすほど、意思決定に遅れが生じることが避けられなかったわけだ。

　対して、InfoSphere Streamsはこの問題を抜本的に解決したミドルウェア製品と位置付けられる。そのアプローチは、膨大かつ連続して発生するストリームデータを一時的にメモリに取り込んだ上で、さまざまな処理要素（オペレーター）が一連の分析プロセスの中で、分散して処理にあたるというものだ。

　「一連の処理においてはオペレーターの数だけデータは変換される。ただし、処理はオペレーター内で完結しているため、オペレーターの並び方を規定することで複雑化を抑えつつ分析方法の規定が可能。しかも、スループットやレイテンシーを踏まえ、InfoSphere Streamsがノードにオペレーターの最適な自動配備まで実施する。これにより、リアルタイム分析環境の整備が容易かつ短期間に行えるようになっているのだ」（鈴村氏）

　もっとも、分析における“判断”の要素はさまざまだ。そのため、分析用オペレーターを一から開発するとなれば、そのために膨大な時間とコストが必要となる。InfoSphere Streamsでは、業種／業態ごとに必要だと想定されるオペレーターをライブラリとして提供。すでに企業が保有するC++やJavaなどの膨大なライブラリも流用できることに加え、システムにデータを取り込んだり、分析結果をほかのシステムに提供したりといったデータ連携用アダプタも標準で用意する。

　「回帰分析用から、画像に映っているものを特定して分類するものまで、幅広くオペレーターを取りそろえている。実装ツールを利用すれば、分析フローを視覚的に確認できる。もちろん、オペレーターは今でも拡充させており、近く、分析フローを描くだけでアプリケーション開発まで行えるツールの提供も予定している」（鈴村氏）

　ユーザー企業の求めに応じてSIer（システムインテグレーター）がInfoSphere Streamsをベースに独自に分析システムを開発し、すでに本番環境で利用される事例も出始めているという。日本IBM ソフトウェア事業インフォメーション・マネジメント事業部 World Wide Big data Tigerの土屋敦氏は、「大規模データ分析のフレームワークの1つにHadoopがあるものの、同フレームワークは処理中にノード間の通信が行えず、リアルタイム分析には向いていない。そのため、Hadoopを採用したものの、InfoSphere Streamsに問い合わせを寄せる企業も増えている。格納したデータとストリームデータをそれぞれ適切に分析するために、両者は補完関係にある」と説明する。

“ソーシャルメディア・センサー”が隠れたつながりを突き止める！

日本IBM ソフトウェア事業インフォメーション・マネジメント事業部World Wide Big data Tiger 土屋敦氏

　「リアルタイム分析が実現した暁には、データの新たな用途開拓を見込むことができる」と土屋氏。例えば、IBMは米国のある投資会社と共同で、ハリケーンが株価に及ぼす影響を分析するシステムを開発した。ハリケーンの進路に加え、各地の画像／風力センサーで収集される情報、テレビの画像／音声、証券取引所の株価の値動きなどを総合的に分析することで、株式売買をリアルタイムにレコメンデーションする仕組みを実現した。

　「各データはデータソースに加え、発生頻度などの特性も大きく異なる。それら相互に関連付けて分析するシステムの構築は、決して容易ではない。だが、IBMのノウハウとInfoSphere Streamsを組み合わせることで、その実現は不可能ではない」（土屋氏）

　Twitterをはじめとするソーシャルメディアには膨大な書き込みが継続的に行われており、それらを地図アプリケーションと連携させれば、つぶやきを“ソーシャルメディア・センサー”として、どこで、どんな言葉がつぶやかれているのかを視覚的に把握することができる。ソーシャルメディア・センサーを応用すれば、災害時に流行りつつある疾病や、話題の新製品に対する消費者の反応をいち早く察知できる。ひいては、これまで直接的には見えなかった各事象の関連性を突き止め、マーケティングや経営戦略に生かす取り組みも急速に現実味を帯びつつあるのだ。

　また、主に製造業でのセンサー情報活用としては、工場での異常検知が挙げられる。工場では数万単位のセンサーがラインの状況監視に用いられており、InfoSphere Streamsをそのリアルタイム監視に活用することで、数十万以上のセンサーに対応できるという。

　「センサーから寄せられる何種類ものデータを組み合わせて分析することで、異常が発生する予兆まで察知することも不可能ではない」（鈴村氏）

データの差分に着目した分析を

　人とモノの関係性を「ネットワーク」としてとらえ、その分析を通じて個々の消費者の行動や嗜好の特性を把握し、意思決定に役立てる取り組みは、すでに先進的な企業において見られる。ただし、ネットワークは常に変化し続けるため、リアルタイムでの把握は、処理すべきデータ量からも現実的には困難であった。

　「人が別の人やモノとつながった場合に、その端はエッジとしてとらえられ、それらの関連性解析には頂点数の3乗の計算作業が必要となる場合がある。そのため、データベースで管理された顧客や購買履歴などのデータを基に関連性を分析しようとしても、計算量が大き過ぎて時間的な制限から毎日処理できるものではない。実際に、ほとんどの企業では月次などの分析にとどまり、データを活用しきれていないのが実情だ」（鈴村氏）

　日本IBMではネットワークに変更が加えられた際の差分に着目。InfoSphere Streamsで差分をリアルタイムに計算する手法で、ネットワークを常に最新の状態に維持できるようにした。この仕組みはすでに大手SNSで会員へのサイトレコメンデーションに用いられ、大きな成果を上げているという。ほかにもECサイトでの応用など、活用を見込める範囲は実にさまざまだ。

　加えて、バッチ処理からリアルタイム処理に変更すれば、短期間での大量の計算作業が不要となることから、処理に要するITリソースとコストの大幅な削減を見込める。インドのアイデア・セルラーはInfoSphere Streamsを採用し、利用者の通話明細の集計方法に切り替えることで、毎秒140万件の処理を実現しつつ62％のITリソースを削減した。

　もっとも、これほどの高いコストパフォーマンスも、CPUと比較し数百倍ものコアを備えるGPU用の拡張インタフェースをInfoSphere Streamsに実装し、GPUでの計算処理を実現するというIBM独自のアプローチがあればこそである。

　「分析精度を高めるためには、膨大なデータを蓄積した上での検証活動も不可欠だ。IBMであれば、ハイブリッドデータベースの『DB2』や、DWH（データウェアハウス）アプライアンスの『Netezza』などとInfoSphere Streamsを連携させることで、そうした要求に応える環境を容易に整備できる」（鈴村氏）

　他社との競争優位を確立する上で、ヒト、モノ、カネに並び貴重な資産である情報をいかに活用すべきかについて明確な“解”はない。ただし、リアルタイム分析によって、情報の価値をさらに引き出せる可能性が飛躍的に高まることは紛れもない事実だ。日本IBMは情報活用に力を注ぐ企業にとって、今後も欠かせない存在でありそうだ。