Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表

Twitterが、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表。その理由は、Twitterのシステム構成を見てみると推測できるかもしれません。

[新野淳一，Publickey]

　この記事は、新野淳一氏のブログ「Publickey」の記事「Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表」を許可を得た上で転載、編集しています。

　Twitterは、自社で運営している大規模なHadoopクラスタをGoogle Cloud Platformへ移行すると発表しました。

• A new collaboration with Google Cloud - Twitter

　Twitterは基本的に自社でデータセンターを保有して運用してきました。2017年1月にTwitterのブログに投稿された記事「The Infrastructure Behind Twitter: Scale」によると、Twitterのデータセンターは5つの大陸にあり、合わせて数十万台のサーバが運用されています。

　同社が運用しているHadoopクラスタは世界最大級の規模として、以下のように説明されています。

Hadoop: We have multiple clusters storing over 500 PB divided in four groups (real time, processing, data warehouse and cold storage). Our biggest cluster is over 10k nodes. We run 150k applications and launch 130M containers per day.

Hadoopについて：私たちは500PB以上のデータを保存する複数のクラスタを4つのグループに分けています（リアルタイム、プロセッシング、データウェアハウス、そしてコールドストレージ）。最大のクラスタは1万台を超えるノードから構成されており、15万ものアプリケーションを実行し、1日当たり1億3000万ものコンテナを起動しています。

　今回の発表によると、Google Cloud Platformへ移行するのは、そのHadoopクラスタ群とコールドストレージです。前述の説明とは異なり300PBのデータと説明されているため、前述の500PBのうちコールドストレージが300PBとなるのかもしれません。

　この移行によってHadoopのコンピュートとストレージを分離し、より柔軟な構成と運用が可能になるとのこと。

This migration, when complete, will enable faster capacity provisioning; increased flexibility; access to a broader ecosystem of tools and services; improvements to security; and enhanced disaster recovery capabilities. Architecturally, we will also be able to separate compute and storage for this class of Hadoop workloads, which has a number of long-term scaling and operational benefits.

このマイグレーションが完了すると、迅速なキャパシティーのプロビジョニング、柔軟性の向上、多様なツールやサービスからなるエコシステムの利用、セキュリティの向上、ディザスタリカバリの拡大といったことが実現されるでしょう。アーキテクチャ的には、この規模においてHadoopワークロードのコンピュートとストレージを分離できるため、長期的なスケールと運用のメリットにつながるでしょう。

　前述の記事、「The Infrastructure Behind Twitter: Scale」によると、ストレージの種類別に見たHadoopの割合は、同社のインフラの40％にも及ぶ大きな割合であることが分かります。

ストレージ種類別に見たTwitterのシステム構成（出典：Twitter）

　しかし、ハードウェアの内訳で見ると、Hadoopは全体の2割程度であることが分かります。

ハードウェアの用途別に見たTwitterのシステム構成（出典：Twitter）

　つまり、ハードウェアの面からすると最大で2割、データ量では最大4割がGoogle Cloud Platformへ移行されると推測されます。Twitterは何を優先してGoogle Cloud Platformへの移行を判断したのか、ここからその理由が推測できるのではないでしょうか。

　この記事は、新野淳一氏のブログ「Publickey」の記事「Twitter、数万台のHadoopクラスタとコールドストレージをGoogle Cloud Platformへ移行すると発表」を許可を得た上で転載、編集しています。

事例記事ランキング

• 本日
• 週間
• 月間

1. 日清食品HDのCIOが語る、生成AIの全社活用と自社環境構築の舞台裏
2. 三井住友海上のRPA導入、そのキーマンは知る人ぞ知るExcel VBAマスターだった
3. 元組み込みエンジニアの農家が挑む「きゅうり選別AI」　試作機3台、2年間の軌跡
4. 借金10億円、倒産まであと半年――創業100年の老舗旅館「陣屋」をたった3年でV字回復させた方法
5. サンリオの「キティちゃん」を支えるデータベースのチカラ

1. 日清食品HDのCIOが語る、生成AIの全社活用と自社環境構築の舞台裏
2. 借金10億円、倒産まであと半年――創業100年の老舗旅館「陣屋」をたった3年でV字回復させた方法
3. 元組み込みエンジニアの農家が挑む「きゅうり選別AI」　試作機3台、2年間の軌跡
4. サンリオの「キティちゃん」を支えるデータベースのチカラ
5. これを旅館と呼んでいいのか!?　老舗旅館「陣屋」が切り開く新たなビジネスモデル

1. 借金10億円、倒産まであと半年――創業100年の老舗旅館「陣屋」をたった3年でV字回復させた方法
2. 日清食品HDのCIOが語る、生成AIの全社活用と自社環境構築の舞台裏
3. サンリオの「キティちゃん」を支えるデータベースのチカラ
4. これを旅館と呼んでいいのか!?　老舗旅館「陣屋」が切り開く新たなビジネスモデル
5. 元組み込みエンジニアの農家が挑む「きゅうり選別AI」　試作機3台、2年間の軌跡