富士通と富士通研、ビッグデータを素早く処理する複合イベント処理技術を開発

ビッグデータを負荷の増減に応じて分散並列処理を行うことで、リアルタイム性の高いデータ解析が可能になるという。

[ITmedia]

　富士通および富士通研究所は12月16日、ビッグデータ（多種類かつ大量の時系列データ）の増減に応じて分散並列処理をする複合イベント処理技術を開発したと発表した。

　新技術は、クエリとクエリ内の並列データを複合イベント処理の管理単位として細かい粒度にし、データの負荷に増減に応じて、この単位をサーバ間で動的に、高速に分散・移動できるようにする。これにより、限られたリソース内でもリアルタイムの動的な分散処理が可能となるほか、簡素なクエリを処理する場では毎秒500万イベントの処理が可能な性能を有するという。

　分散処理に当たっては、負荷の変化やイベントおよびクエリなどの性質などに基づいて、サーバ間で移動させる処理をなるべく影響が小さくなるようにする工夫も取り入れた。関連性が高いクエリをできるだけ同じサーバ上で処理すれば、短い時間で処理できるようになる。

　富士通によれば、従来はこうした処理が困難だったが、新技術を用いればリアルタイム性の高いデータ解析が可能になるという。開発の研究の一部は、経済産業省の2010〜2011度の委託業務「次世代高信頼・省エネ型IT基盤技術開発・実証事業」として実施したもの。同社は2012年度内の実用化を目指すとしている。

新技術による処理のイメージ