Hadoopを基幹システムに、EMCとノーチラス・テクノロジーズがソリューション提供

基幹バッチシステムの高速処理、信頼性および運用性を高めるためのソリューションを、EMCの「Greenplum HD Enterprise Edition」と「Asakusa Framework」を組み合わせて提供する。

» 2012年01月19日 15時32分 公開
[國谷武史,ITmedia]

 EMCジャパンは1月19日、分散処理フレームワーク「Hadoop」をベースにした企業向け製品「EMC Greenplum HD Enterprise Edition(EE)」の発売と、同製品と基幹システムでの高速バッチ処理を実現するためのソフトウェアフレームワーク「Asakusa Framework」を組み合わせた「Enterprise Hadoop」開発運用ソリューションをノーチラス・テクノロジーズ(福岡市)と提供することを発表した。

 Greenplum HD EEは、オープンソースで公開されているApache Hadoopをベースに、パフォーマンスや信頼性、運用性の向上を図った製品。2011年9月にリクルートが先行ユーザーとして導入している。

 パフォーマンス面ではApache Hadoopとの完全互換を確保しつつ、C/C++による再設計・再コーディング、大規模データの分散・計算・処理・集計などを行うMapReduceの改良などで、Apache Hadoopに比べてパフォーマンスを2〜5倍に高めたという。またApache Hadoopは管理ノードが1つだけのために耐障害性が低いことから、Greenplum HD EEでは管理ノードの分散配置やMapReduceのジョブトラッカーの冗長性を高め、データの可用性の確保と処理の中断を防止できるようにしている。外部アプリケーションシステムとの連携を容易にするNFSダイレクトマウント機能や障害の自動検知、スナップショット、レプリケーション機能も備える。

 EMC データ・コンピューティング事業本部 テクノロジー&プロフェッショナルサービス部の仲田聰部長は、「企業のミッションクリティカル分野でHadoopを活用するために、オープンソースでは足りていない部分(信頼性や運用性)を満たすことができた」と語る。同社は大量の構造化データをHadoopで処理するための「Greenplum DB」を提供済み。Greenplum HDは非構造化データの処理を主眼にしており、「両方のビッグデータを扱うためのミドルウェア製品がそろった」(仲田氏)という。

Greenplum製品の利用イメージ

バッチも分散処理を

 「Enterprise Hadoop」開発運用ソリューションでEMCと協業するノーチラス・テクノロジーズは、基幹業務システム領域における分散処理の普及を目的に、ウルシステムズやイーシー・ワンによって2011年10月に設立された企業。同社が開発とオープンソースコミュニティーへの提供を行うAsakusa Frameworkは、Hadoopを用いた開発や基幹システムにおける運用を容易にすることを特徴としたもので、ウルシステムズが開発した。

 ノーチラス・テクノロジーズ 代表取締役副社長の神林飛志氏は、既存のバッチ処理技術は企業でのデータに増大に十分に対応できず、ビジネスに深刻な損害をもたらすようになったと指摘する。例えば、金融機関でのバッチ処理トラブルが経営問題に発展するといった事態が近年は相次いでいる。

 神林氏は、バッチ処理を分散処理にすることで処理速度が大幅に向上するとしており、ある企業では原材料の原価計算にかかる時間を4時間から20分に短縮したケースがあるという。この分散処理で利用が急拡大するHadoopに注目が集まる。

 だが同氏は、「従来のHadoopは実質的にビジネスインテリジェンス専用だ。そのままでは基幹処理には利用できない」と語る。オープンソースベースのHadoopを企業が利用するには上述した信頼性や運用性に難があり、また、MapReduceでの開発に高度なスキルが伴う点も課題だと指摘する。

 今回のソリューションは、Greenplum HD EEで信頼性や運用性、Asakusa Frameworkで開発の容易性や運用性を向上させ、EMCと同社がユーザー企業にサポートを提供できる点が強みだとしている。

基幹システム領域におけるHadoop活用での課題

Copyright © ITmedia, Inc. All Rights Reserved.

注目のテーマ