バッチ処理とストリームデータ処理を併せ持つ技術を発表 富士通研究所

既存のビッグデータ分析技術を“いいとこどり”した新技術を富士通研究所が発表。来年度には具体的な製品にも取り入れていくとする。

» 2012年11月19日 14時48分 公開
[ITmedia]

 富士通研究所は11月19日、データのバッチ処理とストリームデータ処理を併せ持つビッグデータ関連の要素技術を開発したことを発表した。気象データ解析などの分野に応用するほか、製品として実用化していくとしている。

富士通研究所 ソフトウェアシステム研究所 インテリジェントテクノロジ研究部 稲越宏弥主任研究員 富士通研究所 ソフトウェアシステム研究所 インテリジェントテクノロジ研究部 稲越宏弥主任研究員

 同社の新技術は、従来の大量バッチ処理とストリームデータ処理の「いいとこどり」(富士通研究所 ソフトウェアシステム研究所 インテリジェントテクノロジ研究部 稲越宏弥主任研究員)を行ったものだという。バッチ処理は長い期間で大量のデータを分析できるが、負荷がかかるためデータの更新頻度は低い。一方、ストリームデータ処理は、ほぼリアルタイムでデータ収集するため更新頻度は高いものの、集計期間が短いという課題があった。こうした状況に対し富士通研究所では、双方を融合し、集計期間が長く更新頻度の高いデータ分析技術を開発した。

 具体的には、入力されるストリームデータの中から必要な項目だけを特定し、無駄なく抽出する「高速パターン照合技術」と、データの読み直しや演算のやり直しを行わずに演算結果を高速に返す「演算スナップショット技術」を開発。これらを用いることで、必要な情報をあらかじめ計算し、全データを用いて再計算の必要がなくなるため、高速に集計結果の取得が可能なほか、合計や平均、最大・最小値、中間値などでも再集計が不要になる。

 新技術の応用例として、稲越氏は国土交通省水管理・国土保全局との実証実験を紹介する。局所的な雨量をほぼリアルタイムに観測するXバンドMPレーダネットワークと連携して、1分ごとに250メートル×250メートルメッシュの雨量データを集計。集計期間を1時間と3時間で区切ることで、短期間での集計では検出できない災害警戒地域を可視化し、迅速かつ細かな批判判断を実現できるようにしたという。

 新技術は今後、有望顧客への先行適用を検討するとともに、2013年度に富士通のビッグデータ関連製品群「Big Data Platform」や「Big Data Middleware」への搭載を目指す。

関連キーワード

富士通研究所 | Big Data


Copyright © ITmedia, Inc. All Rights Reserved.

注目のテーマ