ITmedia NEWS > AI+ >
ITmedia AI+ AI活用のいまが分かる

BigQueryのコストを抑えろ! DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み(2/2 ページ)

» 2022年12月07日 15時00分 公開
[吉川大貴ITmedia]
前のページへ 1|2       

BQドクターそのものが抱える課題も コスト削減以外の取り組み

 ただ、BQドクターにはコスト削減に加えて、取り組みそのものが抱える課題もいくつかあったと渡辺さん。例えば(1)プロジェクト横断で活動しているので、メンバーのコミュニケーションコストが高い、(2)定常的な活動なので、次第にタスクの優先度が下がり形骸化するリスクがある、(3)BQドクターの管轄外になっているプロジェクトがある──という問題があった。

 3つの問題は、コスト管理と並行して解決を図った。(1)と(2)については、一時的に具体的なコスト削減目標を定め、メンバーを専門チーム化して取り組みを進めることで対策したという。

 さらに目標達成後もBQドクターとしての取り組みを行えるよう、必要な情報がまとまったダッシュボードをBI(ビジネスインテリジェンス)ツールの「Looker」で作成。社内の各事業領域を担当するデータエンジニアに展開した。「短期的かつ継続的に効果が出るBQドクターを目指した」(渡辺さん)という。

 (3)については、管轄できていなかったプロジェクトについてもデータ収集の仕組みを作り、BQドクターのメンバーで管理できるようにした。データ収集にはGoogle Cloudが提供するログ監査の仕組み「Cloud Audit Logs」を活用した。

 中でも活躍したのはCloud Audit Logsの機能“集約シンク”だ。通常、Cloud Audit Logsで集めた情報は各プロジェクトでの保存になるが、集約シンクを使えば1カ所(組織・フォルダなど)に集められる。今回はBQドクターのプロジェクトに割り振ったという。

photo データ取得のイメージ(DeNAのエンジニアブログから引用)

 ただし集約シンクを使うと、各プロジェクトが抱える、機密性が高く集めたくない情報まで集約してしまう可能性がある。そこで今回は、ログを収集してもよいプロジェクトとそうでないプロジェクトをフォルダ単位で仕分け。ログを集めてもよいフォルダのみ集約シンクの対象にした。これにより、約300のプロジェクトから新たに情報を集められたという。

約1600万円のコスト削減見込み 一方で残る課題も

 一連の施策を展開した結果「全社に向けてBQドクターを拡張しつつ、一定のガバナンスを守る基盤を作ることができた」と渡辺さん。約1600万円のコスト削減見込みという定量的な成果も実現できた。

 ただ、まだ残っている課題もある。渡辺さんによれば、可視化したコストの情報がデータエンジニアなど一部メンバーしか閲覧できないなどの問題があるという。

 「現状はデータエンジニアを介してしかBigQueryのガバナンスを効かせられない。全社員が適切に閲覧権限を割り振られた状態で確認できるようにしていきたい」(渡辺さん)

前のページへ 1|2       

Copyright © ITmedia, Inc. All Rights Reserved.