BigQueryのコストを抑えろ！　DeNAが取り組む「BQドクター」の実態　1年で1600万円を削減見込み（1/2 ページ）

公開 2022年12月07日 15時05分

更新 2024年04月02日 11時22分

[ITmedia]

印刷する Googleで優先するソースとして追加

　米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー（DeNA）もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。

　ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。

　一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600万円の費用を削減できる見込みという。

DeNAの渡辺ブルーノさん

　DeNAで活躍するBQドクターの取り組みについて、同社やGoogle Cloud日本法人などが12月6日に共催したオンラインイベント「【Google Cloud × GAME】ゲーム開発におけるGoogle Cloud活用事例」で、渡辺ブルーノさん（データ本部データエンジニアリング第4グループアナリティクスエンジニア）と中村宥哉さん（IT本部IT基盤部第三グループインフラエンジニア）が解説した。

使命はデータのガバナンス維持　BQドクターのお仕事内容

　渡辺さんによれば、DeNAにおけるBQドクターは、データのガバナンス（管理・統制）を維持する取り組みの総称。プロジェクト横断で数人のメンバーが参加しており、今回の問題が表出する前から定常的に活動していたという。例えば、コスト最適化の観点ではデータの整理や、テーブル（表）の保存期間の設定などを請け負っていた。

BQドクターのイメージ（DeNAのエンジニアブログから引用）

　ただ、事故によるコスト超過を防ぐ仕組みまでは手が回っていなかった。例えば、従来は各プロジェクトにおける1日当たりのクエリ（データベースへの指示）のデータ使用量はデフォルト設定のままで、上限がなかったという。

　つまり従量制であるBigQueryの料金に上限がなかったわけだ。このままでは誤って大量のクエリを実行したり、連続で実行したりした場合に、際限なくコストがかかるリスクがあった。

DeNAの中村宥哉さん

　そこでBQドクターでは、プロジェクト当たりの月間データ使用量に上限を策定。月100TiB（テビバイト、109.951TB）まで利用可能とし、事故によるコスト超過に対策した。BigQueryでは、1TiB当たり約5.5ドルのコストがかかる（米国リージョンの場合）ので「100TiBなら事故が起きてもプロジェクト当たり最大550ドルの被害で済む」（中村さん）計算という。

　上限額の設定に当たっては内製のプロジェクト管理ツールを活用。ツールから各プロジェクトの情報を取得し、上限額が定まっていないものを絞り込んだ。その後、対象のプロジェクトには、Google Cloudのリソース管理ツール「gcloud CLI」で課金の上限額を設定した。

　上限額を超えそうなプロジェクトがあった場合、アラートを発するツールも制作。月間データ使用量が上限の8割に達した場合や、何らかの要因で上限が無制限になってしまった場合に、プロジェクトの管理者に警告のメールを送信する仕組みを作った。