オープンソース分散システム「Hadoop」の解析資料が公開

Googleの基盤ソフトウェアであるGoogle File SystemとMapReduceのオープンソース実装「Hadoop」の実用性を評価した解析資料が公開された。

[西尾泰三，ITmedia]

　NTTレゾナントとPreferred Infrastructureは8月25日、Yahoo!のドン・カッティング氏を中心に開発が進められているオープンソース分散システム「Hadoop」にかんして共同で行った調査の解析資料を公開した。

　Javaで記述されているHadoopは、Googleの基盤ソフトウェアであるGoogle File System（GFS）とMapReduceのオープンソース実装で、HDFS（Hadoop Distributed File System）がGFSに、Hadoop MapReduce FrameworkがMapReduceに対応する。

　調査はHadoopの実用性を評価するためのもので、以下のような点について調査が行われている。

1. GFSとMapReduceの論文を比較対象としたHadoopの機能の調査
2. ソースコード解析による「Hadoop」の実装方式の調査
3. 実験による「Hadoop」の基本性能の調査

　NameNodeの障害に対する機能が洗練されておらず、NameNodeでディスク障害が発生した場合、オペレーションログの一部が失われファイルシステムの一貫性が一部失われてしまう可能性が指摘されるなど、信頼性を中心に課題を残すものの、GFSの論文で言及されている主要な機能を備え、性能面を考慮した実装方式を採用しており、検証実験でも良好な性能を示したことから、Hadoopの実用性は十分にあると結論づけられている。