日立製作所、最大100倍高速化のセルフBI向けデータ処理技術を開発

データ分析速度を最大100倍に高速化する技術を開発し、この技術を利用したリアルタイムデータ分析システムのプロトタイプも構築している。

» 2016年08月04日 10時18分 公開
[ITmedia]

 日立製作所は8月3日、FPGA(Field Programmable Gate Array)の内部メモリを活用してデータを高速処理できるデータベース管理システムと、FPGA内でデータを高速に並列処理する技術を開発したと発表した。

 集積回路のFPGAは、製造後に購入者や設計者が構成を設定でき、特定用途向けの集積回路に比べて開発コストが低い。日立が開発した技術では、カラム型データベースを細分化してフラッシュストレージ内に保持し、FPGAの内部メモリのサイズにそのデータ管理情報が収まるようにした。従来はFPGAの内部メモリにデータ収まり切れず、読み込み速度の遅い外部メモリに格納せざるを得なかったが、新技術によりFPGAの内部メモリで処理できるようになった。

 並列処理に関しては、行単位ではなく列単位で処理するカラム型データベースにおいて、1つの項目の処理が完了するまで次に進めず、並列化が困難だった。日立では、一定の個数ずつ順番に処理できるカラム処理方式を開発し、データを選択するデータフィルタ回路や、データをグループ分けして合計値や平均値などを算出するデータ集約演算回路をFPGAに実装することで、大量のデータを迅速に処理する並列化処理を可能にした。

 これら2つの技術を利用すれば、使用しない場合と比較してデータ分析速度を最大100倍に高速化できるという。

 また、同社はグループ会社の米Pentahoのビジネス分析ソフトウェア「Pentaho Business Analytics」と、データを格納するフラッシュストレージに今回開発した技術を組み合わせ、リアルタイムデータ分析システムのプロトタイプを構築した。

リアルタイムデータ分析システムの構成図(左)と開発技術の詳細

 日立は今後、高速データアクセス基盤「Hitachi Advanced Data Binderプラットフォーム」にも今回開発した技術を導入し、検証を進める。

 昨今の企業では、事業部門がデータ分析をしたい場合に、IT部門やデータサイエンティストなどの専門家を介さず、自分たちで実施する「セルフサービス分析」が人気。業務分析だけでなく、例えば、接客中にその場で顧客データを分析して多様な商品を提案するといった業務にも活用されるなど、データ処理の高速化ニーズが強まる。新技術の開発はそうした背景から進められてきた。

Copyright © ITmedia, Inc. All Rights Reserved.

注目のテーマ