リアルタイム処理で「大量データ」を使いこなせ：データの活用範囲を拡大する

実世界から流れ込んでくる大量のデータを即時分析するニーズが高まっている。膨大なデータをリアルタイムに処理する技術の裏側、そしてデータ活用の今後に迫る。

[白井和夫，ITmedia]

（このコンテンツは日立「Open Middleware Report vol.54」をもとに構成しています）

注目を集めるリアルタイム処理技術

　電子マネーやICカード、RFIDなど実世界から流れ込んでくる情報が増加の一途をたどる中、これらの膨大なデータをリアルタイムに分析し、より迅速な意思決定やリスク管理、現場状況の把握などに生かしたいという動きが本格化している。

　現在、多くの企業で採用されているDBMS（DataBase Management System）などのデータ処理方式では、情報を一度データベースに格納した後にバッチ処理で一括して集計・分析する。そのためデータの取得から実際の活用までにタイムラグが生じることが避けられない。もちろん、これでも従来のビジネス用途では問題ないだろう。しかし“いま起きている事象”への即対応という新しい要求に応えるには、このタイムラグを極小化し、“瞬発力”を高めることが要件となる。そこで注目されているのが、データをメモリ上に保持しておいて、逐次処理を実行する「複合イベント処理（CEP：Complex Event Processing）」や、特定パターンをリアルタイムに検知する「イベントストリーム処理（ESP：Event Stream Processing）」などの技術だ。

瞬発力を実現するストリームデータ処理

SQLベースのシナリオで多様な分析に対応

　例えば、日立製作所（以下、日立）ではこのようなリアルタイム処理へのニーズに対して、前述のCEPやESPの適用範囲をカバーしながら大量データを分析する「ストリームデータ処理」という概念を提唱している。

　ストリームデータ処理では、データ発生時にあらかじめ登録した「集計・分析シナリオ」に従って必要なデータを抽出し、結果を出力する。「集計・分析シナリオ」はSQL（Structured Query Language）を拡張した汎用的なスクリプト言語「CQL（Continuous Query Language）」で定義できるため対応できる開発者も多く、幅広い業種に対応できる。また、CQLを連結することで複雑な時系列処理も記述することが可能だという。

　日立はストリームデータ処理の基盤製品として「uCosminexus StreamData Platform」（uCSDP）を提供している。uCSDPでは、対象となるデータをメモリ上に展開した上で、時系列データの中で必要な差分計算のみを行う手法を採用しており、従来のDBMSに対して速度面で優位となる。分析済みのデータをHDDなどに蓄積しないため、ストレージ容量の削減も期待できる。

　また、シナリオはテキストファイルに定義し、uCSDPに登録すれば使用できるため、開発効率が向上するだけでなく、シナリオの追加・変更だけで分析内容の変化に柔軟に対応できるようになっている。

ストリームデータ処理によるWebシステム稼働監視の例

複雑化するITシステムの運用管理にも効果

　大量のフローデータを即時分析する技術は、不正アクセスや機密ファイルのダウンロードなどへのセキュリティ対策や、株価や出来高の解析により売買注文を自動化するアルゴリズムトレードなど、幅広い分野への応用が期待されている。また、GPS端末のセンサー情報を利用したリアルタイム位置情報監視による渋滞検出や、人の滞留状態に合わせて広告内容を切り替えるデジタルサイネージにも有効だろう。

　また、大量のログ情報解析による業務システムのモニタリングなども得意分野である。仮想化やクラウドの進展で大規模化・複雑化するITシステムの運用管理に適用すれば、膨大なログの中から障害発生の予兆をリアルタイムに検知できる。障害を未然に防ぐことでダウンタイムの最小化を見込める。

　現在、多くの業務分野において、鮮度の高いデータに基づいた迅速な意思決定や状況分析、リアルタイム監視によるリスクマネジメント、そして、スピードを付加価値とした新ビジネスの創出が強く求められている。ストリームデータ処理の可能性は今後も拡大していくのではないか。