米Uber、1エクサバイト超のデータ量を持つシステムをオンプレミスからGoogle Cloudへ移行

　米Uberは、オンプレミス上に構築した数万台ものサーバによる1エクサバイト超のデータ容量を持つ世界最大級のHadoopエコシステムを、Google Cloudへ移行すると発表しました。

　UberはGoogle Cloudへの移行のメリットを次のように説明しています。

Modernizing with GCP will enable big gains in user productivity, engineering velocity, improved cost efficiency, access to new innovation, and expanded data governance.

GCPによるシステムのモダナイズで、ユーザーの生産性、エンジニアリングのスピード、コスト効率の改善、新しいイノベーションへのアクセス、データガバナンスの拡大などが可能になるでしょう。

　Uberは世界中で同社が提供しているライドシェアやフードデリバリーのサービスの背後で、ドライバーと利用者のマッチングや価格設定などの自動化および最適化などの処理を機械学習で行っており、最近ではAIを用いた自動運転や自動配達にも進出しています。

　そのデータ処理基盤となっているのが、今回Google Cloudへ移行することになったオンプレミス上に構築されたHadoopエコシステムです。

HDFSをオブジェクトストアへ移行

　下記の図が同社が説明する移行前（左）と移行後（右）のシステム概要です。

　HDFSをGoogle Cloudのオブジェクトストアに移行し、それ以外の部分はGoogle CloudをIaaSとして用い、オンプレミスのシステムをほぼそのままGoogle Cloud上に再構築します。

　その上で、Google Cloudのオブジェクトストレージの上にHDFS互換のインターフェイスを実装することで、既存のデータ処理システムはそのまま利用可能にすると説明しています。

　同社のコンピュートプラットフォーム、コンテナ環境、デプロイメントツールなどはオンプレミスとクラウドを区別しないように作られているため、オンプレミス上のサービス群をクラウドのIaaS上に簡単に拡張できるようになっているとのことです。

移行にあたりUberが想定する課題とは

　UberはオンプレミスからGoogle Cloudへの移行に当たって、以下の課題に取り組むと説明しています。

パフォーマンス

　HDFSとオブジェクトストアには機能や性能特性の違いがあるため、オープンソースのHadoopコネクタを活用し、パフォーマンスを最大化するための進化を支援する。

ガバナンス

　クラウド関連の利用コストは、効果的かつプロアクティブに管理しなければ膨れ上がる可能性がある。社内のキャパシティ・エンジニアリングチームと提携し、より細かいメカニズムとトラッキングを構築する。

非分析用途でのHDFSの使用

　ここ数年、一般的なファイルストアとしてHDFSを使い始めるケースもあるため、これらのユースケースにたいしては、他のサービスに積極的に移行させるためのパスを提供する。

未知の課題

　オンプレミス上のシステムは7年前から構築されてきており、クラウドへの移行には予期せぬ課題に直面することは確実だ。レガシーなユースケースは積極的に非推奨とするなど、こうした課題に先手を打っていく。

移行の目的はコスト削減よりもモダナイズ

　これらのUberの説明を見ていくと、オンプレミスからクラウドへの移行はコスト削減よりも、システム全体を見直しつつ再構築することによるモダナイズと、古いユースケースや本来の使い方から外れた利用法などを廃止することによる効率化や最適化にあるのではいかと考えられます。

　Uberは今後も移行に関する進捗や教訓を共有していくとしています。

この記事の著者

関連記事

• 

  Uber、OracleとGoogleのクラウドに「最も重要なインフラの一部を移行」

• 

  「Oracle Cloud VMware Solution」正式リリース　他社との違いは、オンプレミスと同様にユーザーが管理できること

• 

  スポーツ用品のファイテン、DB基盤をOracle Cloudに移行　受注データの取り込み時間を40分の1に

• 

  Google、「Cloud Services Platform」をβ公開　オンプレミス環境の「GKE On-Prem」も展開、ハイブリッドクラウド戦略を前進

• 

  Google Cloud Platform、初の日本リージョン年内開設へ