NEC、ビッグデータ分析を10倍以上高速化する新技術を開発

Hadoopを用いた分散処理での機械学習を大幅に高速化することで、データ分析からの結果を短時間で得られるようにする。

[ITmedia]

　NECは10月8日、ビッグデータの分析を高速化する分散処理技術を開発したと発表した。ビッグデータの機械学習処理をHadoopで実行する際の時間を従来の10倍以上高速化し、分析結果の迅速な活用を可能にするという。

　同社によると、ビッグデータの分析では主にHadoopなどの分散処理基盤を用いるが、Hadoopではデータから規則性やパターンなどを抽出する機械学習などの処理を高速に実行できない課題があった。

　新技術ではMapReduceを多数組み合わせてHadoopで繰り返し演算する際に、MapReduce間のデータ受け渡しをHDD経由からメモリ経由にするほか、処理を実行する際にサーバ間の通信に「MPI（Message Passing Interface)」を利用できるようにしている。

　これらによって、機械学習プログラムにおけるHadoopの処理時間を10倍以上の高速化でき、例えば、1週間以上かかっていた分析を1日に短縮して、分析結果の迅速な利用を可能にするという。