メディア

オープンソース分散システム「Hadoop」の解析資料が公開

Googleの基盤ソフトウェアであるGoogle File SystemとMapReduceのオープンソース実装「Hadoop」の実用性を評価した解析資料が公開された。

» 2008年08月25日 15時45分公開

[西尾泰三，ITmedia]

　NTTレゾナントとPreferred Infrastructureは8月25日、Yahoo!のドン・カッティング氏を中心に開発が進められているオープンソース分散システム「Hadoop」にかんして共同で行った調査の解析資料を公開した。

　Javaで記述されているHadoopは、Googleの基盤ソフトウェアであるGoogle File System（GFS）とMapReduceのオープンソース実装で、HDFS（Hadoop Distributed File System）がGFSに、Hadoop MapReduce FrameworkがMapReduceに対応する。

　調査はHadoopの実用性を評価するためのもので、以下のような点について調査が行われている。

GFSとMapReduceの論文を比較対象としたHadoopの機能の調査
ソースコード解析による「Hadoop」の実装方式の調査
実験による「Hadoop」の基本性能の調査

　NameNodeの障害に対する機能が洗練されておらず、NameNodeでディスク障害が発生した場合、オペレーションログの一部が失われファイルシステムの一貫性が一部失われてしまう可能性が指摘されるなど、信頼性を中心に課題を残すものの、GFSの論文で言及されている主要な機能を備え、性能面を考慮した実装方式を採用しており、検証実験でも良好な性能を示したことから、Hadoopの実用性は十分にあると結論づけられている。

関連キーワード

Apache Hadoop | MapReduce | オープンソース | Google | NTTレゾナント | ファイルシステム

新たな合従連衡を生むクラウドコンピューティング
HP、Intel、Yahoo!が7月29日、クラウドコンピューティングに関する共同プロジェクトを発表した。IT分野の新たなパラダイムに向けた合従連衡の動きが本格化しそうだ。
開拓者から改革者へ　ネタで未来を切り開く男　大沢和宏
10年以上前から、斬新な“ネタ”を率先して実装し、世界を驚かせてきたトリックスターがいる。そんな彼が最も追い求めたのは、足す美学ではなく、「引く美学」……。
クラウドコンピューティングの明るい未来――ニコラス・カー氏語る
IBMがメインフレームを主軸としたモデルを提唱してから50年を経た今、GoogleやSalesforce.com、Microsoftなどのユーティリティコンピューティングが成功を収めている理由を、「The Big Switch」の著者であるニコラス・カー氏が論じた。
Microsoftの将来はWebとハブにある――オジー氏の見解
MicrosoftがなぜYahoo!に関心を持っているのかという疑問について、レイ・オジー氏は「Microsoftの将来はWeb、分散デバイスそしてクラウドコンピューティングにある」とMIXカンファレンスの来場者に説明した。
上野康平――3次元空間を統べる若き天才プログラマー（完全版）
ソフトウェアとハードウェアの両方に精通し、世の中を変革しようと牙を研ぐバイナリアンたちを紹介していく「バイナリアンスレッド」。第1回の井上さんからバトンを引き継いだのは、史上最年少の18歳で天才プログラマー／スーパークリエータの称号をIPAから贈られた上野康平さんの完全版をお届けする。
矛盾を抱えつつ進化する“Java”――黒船となったRuby on Rails
インターネット全盛以前に誕生したJava。アプリケーション開発の形態が変化していく中で、Javaもまたいろいろな刺激を受けてきている。これまでのJavaと今後のJava、業界キーマンがコラムで語る。
Sun、Javaモバイルデバイス展開をブレイ氏語る
米サンフランシスコで8日から開催の「2007 JavaOne」。開催に先立ち行われた合同インタビューで、ティム・ブレイ氏にJavaとスクリプトテクノロジーのかかわりについて聞いた。