BigQueryのコストを抑えろ! DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み(1/2 ページ)
Google CloudのクラウドDWH「BigQuery」。DeNAではそのコスト管理に課題があった。そこで立ち上がったのは同社の「BQドクター」。取り組みの結果、1年で1600万円を削減できる見込みという。
米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー(DeNA)もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。
ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。
一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600万円の費用を削減できる見込みという。
DeNAで活躍するBQドクターの取り組みについて、同社やGoogle Cloud日本法人などが12月6日に共催したオンラインイベント「【Google Cloud × GAME】ゲーム開発におけるGoogle Cloud活用事例」で、渡辺ブルーノさん(データ本部データエンジニアリング第4グループアナリティクスエンジニア)と中村宥哉さん(IT本部IT基盤部第三グループインフラエンジニア)が解説した。
使命はデータのガバナンス維持 BQドクターのお仕事内容
渡辺さんによれば、DeNAにおけるBQドクターは、データのガバナンス(管理・統制)を維持する取り組みの総称。プロジェクト横断で数人のメンバーが参加しており、今回の問題が表出する前から定常的に活動していたという。例えば、コスト最適化の観点ではデータの整理や、テーブル(表)の保存期間の設定などを請け負っていた。
ただ、事故によるコスト超過を防ぐ仕組みまでは手が回っていなかった。例えば、従来は各プロジェクトにおける1日当たりのクエリ(データベースへの指示)のデータ使用量はデフォルト設定のままで、上限がなかったという。
つまり従量制であるBigQueryの料金に上限がなかったわけだ。このままでは誤って大量のクエリを実行したり、連続で実行したりした場合に、際限なくコストがかかるリスクがあった。
そこでBQドクターでは、プロジェクト当たりの月間データ使用量に上限を策定。月100TiB(テビバイト、109.951TB)まで利用可能とし、事故によるコスト超過に対策した。BigQueryでは、1TiB当たり約5.5ドルのコストがかかる(米国リージョンの場合)ので「100TiBなら事故が起きてもプロジェクト当たり最大550ドルの被害で済む」(中村さん)計算という。
上限額の設定に当たっては内製のプロジェクト管理ツールを活用。ツールから各プロジェクトの情報を取得し、上限額が定まっていないものを絞り込んだ。その後、対象のプロジェクトには、Google Cloudのリソース管理ツール「gcloud CLI」で課金の上限額を設定した。
上限額を超えそうなプロジェクトがあった場合、アラートを発するツールも制作。月間データ使用量が上限の8割に達した場合や、何らかの要因で上限が無制限になってしまった場合に、プロジェクトの管理者に警告のメールを送信する仕組みを作った。
関連記事
- 「すずめの戸締まり」制作でもAWSが活躍 レンダリングで活用 エンドロールにも……
11月11日に公開となった新海誠監督の映画最新作「すずめの戸締り」。制作に当たってはレンダリングなどの用途にクラウドサービス「Amazon Web Services」を活用したという。エンドロールにもロゴが……。 - ガンホー、「ニンジャラ」でもAWS活用 ゲーム特化のサービス採用で「運用コストを毎月4人月削減」
ガンホーが、対戦アクションゲーム「ニンジャラ」の開発にAWSのゲーム向けマネージドサービスを活用。快適なマッチングシステムが求められる中、フルマネージドサービスを活用し、遊びやすさを保ちつつサーバの運用負荷を削減したという。 - 「パブリッククラウドのアカウント数多すぎ」で起こる混乱をどう防ぐ? DeNAがフルクラウド化で直面した悩みと対策
提供しているサービス基盤などのフルクラウド化を実現したDeNA。一方で、パブリッククラウドのアカウント数が膨らみ、管理が煩雑になる事態にも直面した。同社の専門チームはこの危機をどう回避したのか。 - 「職員室でしかPCが使えない」 “生徒1人にPC1台”の裏で、進まぬ教育現場のデジタル化 意識改革が必要なのは誰なのか
“生徒1人にPC1台”施策の裏で、まだ進まない教育現場のIT活用。実現に当たって意識改革が必要なのは教師か、教育委員会か、自治体か。問題の本質を教育現場や有識者への取材から探る。 - クラウド活用が進まない中小の実態、原因は“社内カースト”に? 事例を分析
大企業に比べてクラウド活用が進まないといわれている中小企業。実際に中小に勤める人に話を聞くと、その実態が見えてきた。原因として考えられる「有識者の不足」「変化を嫌う文化」について、前後編で分析する。
Copyright © ITmedia, Inc. All Rights Reserved.