米Yahoo!、Hadoopのセキュリティ強化版とワークフローエンジンをオープンソースに
米Yahoo!は、Apache Hadoopに関連した最新技術「Hadoop with Security」と「Oozie」を発表した。それぞれ認証周りとワークフローエンジンを担うもので、今後はオープンソースプロジェクトとして開発を進めていく。
米Yahoo!は6月29日(現地時間)、分散処理プラットフォーム「Apache Hadoop」に関連した最新技術「Hadoop with Security」と「Oozie」を発表した。Yahoo!は2つの技術をApache Software Foundation(ASF)に移管し、今後はオープンソースプロジェクトとして開発を進めていく。
Hadoopは、米Googleの「MapReduce」と「Google File System(GFS)」に着想を得てはじまったオープンソースプロジェクト。現在、ASFのトップレベルプロジェクトとして開発が進んでいる。Yahoo!はHadoopの最大の貢献者であり、最大の実装事例となっている。
Hadoop with Securityは、セキュリティにフォーカスしたもので強い認証が可能となる。オープンソースの認証プロトコル「Kerberos」を統合してロギング機能を強化した。これにより、安全なコラボレーションや認証データの共有が可能になるという。
Oozieは、Hadoop向けのワークフローエンジン。Hadoop with Securityと統合し、「Hadoop Distributed File System(HDFS)」「Pig」やMapReduceなど、Hadoop上のジョブを自動化・管理できる。Yahoo!社内でも、複雑なワークフローやデータパイプラインをグローバルに管理するのに用いているという。
両プロジェクトは今後、ASFの下でオープンソースとして公開され開発を進めていく。Yahoo!では、これらの最新技術によりHadoopの受け入れを加速したいとしている。
関連記事
- 優良企業はなぜHadoopに走るのか
オープンソースの大規模分散データ処理システム「Hadoop」の人気がうなぎ登りだ。Yahoo!やAmazon、FacebookといったIT業界の巨人たちだけでなく、VISAやJP Morganといった有名企業までHadoopにコミットを示している。先日開催された「Hadoop World」には、そうした企業の熱気が満ちていた。 - Hadoopを用いたクラスタコンピューティング環境の構築
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、安価かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームであるHadoopの使用を検討すべきだろう。 - MySpace、.NET向けのMapReduce技術「Quizmt」をオープンソースに
MySpaceのデータマイニングチームが開発した.NET向けのMapReduce技術がオープンソースの下で公開された。C#.NETを利用し、Windowsプラットフォームを対象としているのが特徴。 - 2社のデータベースベンダーがデータ分析分野でGoogleに追随
Greenplum とAster Data SystemsがMapReduceをサポートする。MapReduceは大量のデータを分析するためにGoogleが開発した手法。Greenplum とAster Data Systemsの両社は、MapReduceにより大量のデータを分析する能力の改善を狙っている。 - オープンソース分散システム「Hadoop」の解析資料が公開
Googleの基盤ソフトウェアであるGoogle File SystemとMapReduceのオープンソース実装「Hadoop」の実用性を評価した解析資料が公開された。 - Hadoopの生みの親カッティング氏、米Yahoo!を離れる
Yahoo!内でApache Hadoopの開発を推進してきたダグ・カッティング氏が同社を去り、新興企業のClouderaに加わる。 - 米Yahoo!、オープンソース分散システム「Hadoop」の自社ディストリビューションを公開
Yahoo!は「Yahoo! Distribution of Hadoop」を公開することにより、Hadoop採用を促進したいとしている。 - Amazon、Hadoop利用の大規模分散処理サービス「Elastic MapReduce」公開
ユーザーはS3に保管した大量のデータをEC2のコンピューティング能力を使って分散並列処理し、ログ解析や財務分析に活用できる。
関連リンク
Copyright © 2010 OSDN Corporation, All Rights Reserved.