米Uber、1エクサバイト超のデータ量を持つシステムをオンプレミスからGoogle Cloudへ移行
この記事は新野淳一氏のブログ「Publickey」に掲載された「米Uber、1エクサバイト超のデータ量を持つ世界最大規模のHadoopシステムを、オンプレミスからGoogle Cloudへ移行すると発表」（2024年6月18日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。
米Uberは、オンプレミス上に構築した数万台ものサーバによる1エクサバイト超のデータ容量を持つ世界最大級のHadoopエコシステムを、Google Cloudへ移行すると発表しました。
UberはGoogle Cloudへの移行のメリットを次のように説明しています。
Modernizing with GCP will enable big gains in user productivity, engineering velocity, improved cost efficiency, access to new innovation, and expanded data governance.
GCPによるシステムのモダナイズで、ユーザーの生産性、エンジニアリングのスピード、コスト効率の改善、新しいイノベーションへのアクセス、データガバナンスの拡大などが可能になるでしょう。
Uberは世界中で同社が提供しているライドシェアやフードデリバリーのサービスの背後で、ドライバーと利用者のマッチングや価格設定などの自動化および最適化などの処理を機械学習で行っており、最近ではAIを用いた自動運転や自動配達にも進出しています。
そのデータ処理基盤となっているのが、今回Google Cloudへ移行することになったオンプレミス上に構築されたHadoopエコシステムです。
HDFSをオブジェクトストアへ移行
下記の図が同社が説明する移行前（左）と移行後（右）のシステム概要です。
HDFSをGoogle Cloudのオブジェクトストアに移行し、それ以外の部分はGoogle CloudをIaaSとして用い、オンプレミスのシステムをほぼそのままGoogle Cloud上に再構築します。
その上で、Google Cloudのオブジェクトストレージの上にHDFS互換のインターフェイスを実装することで、既存のデータ処理システムはそのまま利用可能にすると説明しています。
同社のコンピュートプラットフォーム、コンテナ環境、デプロイメントツールなどはオンプレミスとクラウドを区別しないように作られているため、オンプレミス上のサービス群をクラウドのIaaS上に簡単に拡張できるようになっているとのことです。
移行にあたりUberが想定する課題とは
UberはオンプレミスからGoogle Cloudへの移行に当たって、以下の課題に取り組むと説明しています。
パフォーマンス
HDFSとオブジェクトストアには機能や性能特性の違いがあるため、オープンソースのHadoopコネクタを活用し、パフォーマンスを最大化するための進化を支援する。
ガバナンス
クラウド関連の利用コストは、効果的かつプロアクティブに管理しなければ膨れ上がる可能性がある。社内のキャパシティ・エンジニアリングチームと提携し、より細かいメカニズムとトラッキングを構築する。
非分析用途でのHDFSの使用
ここ数年、一般的なファイルストアとしてHDFSを使い始めるケースもあるため、これらのユースケースにたいしては、他のサービスに積極的に移行させるためのパスを提供する。
未知の課題
オンプレミス上のシステムは7年前から構築されてきており、クラウドへの移行には予期せぬ課題に直面することは確実だ。レガシーなユースケースは積極的に非推奨とするなど、こうした課題に先手を打っていく。
移行の目的はコスト削減よりもモダナイズ
これらのUberの説明を見ていくと、オンプレミスからクラウドへの移行はコスト削減よりも、システム全体を見直しつつ再構築することによるモダナイズと、古いユースケースや本来の使い方から外れた利用法などを廃止することによる効率化や最適化にあるのではいかと考えられます。
Uberは今後も移行に関する進捗や教訓を共有していくとしています。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
なぜ酒蔵の許諾なしに？ 「VTuberコラボ日本酒」騒動、主催者が経緯説明 仲介者による調整で「準備進んでいると認識」
-
2
かっぱ寿司「配布前のコラボグッズ、フリマで買わないで」 プリキュアコラボ発表日に注意喚起
-
3
「食事量は1日1200kcal以下、でも肥満」な人を14日間追跡調査 痩せない理由は……米コロンビア大などの研究
-
4
本物そっくり“AI生成レシート“が経費精算の脅威に マネフォ「自力で見破るのは難しい」 企業はどう備える？
-
5
「菜の花がおかしい」――イラストレーター制作うたうマラソン大会ポスターに指摘相次ぐ 事務局がAI使用明かす【訂正あり】
-
6
「ペンギンを返して」→「3匹全部採用して」 批判殺到のSuica新キャラ、ファンアートが空気を変えた？ SNSの声
-
7
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
-
8
「iPhone Duo」純正ケース話題、「面白いけど高い」……1万4800円と2万4800円
-
9
藤井風のリサイタル、公式サイトがインターネット老人会すぎると話題 公民館のチラシみたいだけど東京ドーム開催
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR