データベースでは間に合わない！ データ発生と同時にアクションが可能な「リアルタイム分析」：Cosminexus V8 Review

刻一刻と変化する状況を即座に分析するには、データベースを介した分析では手遅れになることがある。Cosminexusではリアルタイムな分析を可能にする「ストリームデータ」処理機能を備えている。

[友成文隆（日立製作所），ITmedia]

　データベースの分析が変化する状況に追いつけないケースとはどのようなものだろうか。例えば株の取引を想像していただきたい。株価の推移や出来高などの情報を、午前の取引が終わってからデータベースを分析し、午後の売買に生かすようでは手遅れだ。刻々と変化する株価情報をベテラントレーダーが勘と経験を駆使してデータの流れをいち早くキャッチ。適切なアクションをタイムリーに行っている。

　データの流れをITを駆使してリアルタイムに分析できればスピーディかつ正確なアクションを“人”に頼ることなく施すことができる。データを貯めてから分析するのではなく、発生と同時に分析対象とするのだ。

　今までのデータ処理方式では、このデータベースなどに蓄積されたデータをクエリ言語を用いて分析する方法と、データ発生時に個別アプリケーションで処理する方法が主流であった。データベースを用いた場合は、クエリ言語が用意されているが、アプリケーションで処理する方式ではプログラミングが必要であり、新たな方式の追加や変更を行うたびに、プログラムの変更を伴っていた。

データベースでのクエリ処理の様子

リアルタイムデータ処理を可能にするストリームデータ処理技術

　蓄積されたデータベースの処理とデータ発生時点でアプリケーションが処理する方式の中間。つまり、多量かつ連続して発生するデータの流れに着目して処理する技術がストリームデータ処理技術だ。

　発生と同時に分析を可能にする技術が“ストリームデータ処理”だ。ストリームデータ処理では、分析シナリオをCQL(Continuous Query Language)で記述する。CQLは、ストリームから処理対象となるデータの範囲を指定するために、データベースの標準的な言語であるSQLに時間の概念を導入した親しみやすい言語である。

　CQLは、複数のストリームを分析することが可能であり、クエリを連結して複雑な分析を実現できる高い記述性を備えている。この言語インタフェースにより時系列データに対するリアルタイム処理を可能にする。

ストリームデータ処理技術を国内でいち早く製品化したCosminexus

　Cosminexusのストリームデータ処理基盤では、ストリームデータ処理をいち早く製品化している。大量データを高速に処理するために、先に述べた「ストリームデータ処理技術」と「インメモリデータ処理技術」を採用している。

　「インメモリデータ処理技術」では、システムで使用するすべてのデータをメモリに格納した上で処理する技術である。ハードディスクなどの外部記憶装置とのアクセスに要する時間を大幅に削減できるため、高速なデータ処理を実現する。

　「ストリームデータ処理技術」ではクエリをあらかじめ登録する方式を採用。登録したクエリは処理の途中で変更されることがないため、クエリに応じた最適な処理を行える。この特長を利用して、前回処理した結果を中間データとして保持し、入力ストリームと中間データだけを使用して結果を導き出す。つまり、処理対象となる全てのデータの処理を行わず、前回の結果からの差分のみを計算する処理を行っている。

ストリームデータ処理技術

リアルタイム処理の可能性は無限に広がる

　ここでは、リアルタイム処理の活用例をいくつか挙げてみよう。

ログ監視・解析によるコンプライアンス強化

　いくら堅牢なシステムでも、不正アクセスを完全に防ぐことはできないが、リアルタイム処理を利用することでセキュリティの強化を図ることができる。例えば機密ファイルの一括ダウンロードなど、不正が疑われる行動をリアルタイムに検知し、アクセスをブロックするなどの対策が可能である。

　このような緊急性が求められる分析は、ストリームデータ処理の強みが発揮される応用例である。また、分析シナリオを変更することでセキュリティポリシーの変更を柔軟に対応できる。

製造ライン監視による現場の「見える化」

　製造業が抱える課題として、製造効率の向上や安定した品質確保がある。現場から発生する大量の各種センサ情報や品質情報をリアルタイムに分析することで現場の「見える化」を実現する。これにより、「変化」や「傾向」を瞬時に捉え、その結果をリアルタイムに製造ライン制御や製造計画変更に反映できる。

車両情報を活用した交通モニタリング

　交通分野における車両情報を活用した例として、交通モニタリングがある。これは、情報発信車両から一定間隔で発信される車両位置情報を利用して、各車の速度や走行方向を計算することで、渋滞を検知するものである。

リアルタイム処理適用例