BigQueryのコストを抑えろ! DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み(2/2 ページ)
Google CloudのクラウドDWH「BigQuery」。DeNAではそのコスト管理に課題があった。そこで立ち上がったのは同社の「BQドクター」。取り組みの結果、1年で1600万円を削減できる見込みという。
BQドクターそのものが抱える課題も コスト削減以外の取り組み
ただ、BQドクターにはコスト削減に加えて、取り組みそのものが抱える課題もいくつかあったと渡辺さん。例えば(1)プロジェクト横断で活動しているので、メンバーのコミュニケーションコストが高い、(2)定常的な活動なので、次第にタスクの優先度が下がり形骸化するリスクがある、(3)BQドクターの管轄外になっているプロジェクトがある──という問題があった。
3つの問題は、コスト管理と並行して解決を図った。(1)と(2)については、一時的に具体的なコスト削減目標を定め、メンバーを専門チーム化して取り組みを進めることで対策したという。
さらに目標達成後もBQドクターとしての取り組みを行えるよう、必要な情報がまとまったダッシュボードをBI(ビジネスインテリジェンス)ツールの「Looker」で作成。社内の各事業領域を担当するデータエンジニアに展開した。「短期的かつ継続的に効果が出るBQドクターを目指した」(渡辺さん)という。
(3)については、管轄できていなかったプロジェクトについてもデータ収集の仕組みを作り、BQドクターのメンバーで管理できるようにした。データ収集にはGoogle Cloudが提供するログ監査の仕組み「Cloud Audit Logs」を活用した。
中でも活躍したのはCloud Audit Logsの機能“集約シンク”だ。通常、Cloud Audit Logsで集めた情報は各プロジェクトでの保存になるが、集約シンクを使えば1カ所(組織・フォルダなど)に集められる。今回はBQドクターのプロジェクトに割り振ったという。
ただし集約シンクを使うと、各プロジェクトが抱える、機密性が高く集めたくない情報まで集約してしまう可能性がある。そこで今回は、ログを収集してもよいプロジェクトとそうでないプロジェクトをフォルダ単位で仕分け。ログを集めてもよいフォルダのみ集約シンクの対象にした。これにより、約300のプロジェクトから新たに情報を集められたという。
約1600万円のコスト削減見込み 一方で残る課題も
一連の施策を展開した結果「全社に向けてBQドクターを拡張しつつ、一定のガバナンスを守る基盤を作ることができた」と渡辺さん。約1600万円のコスト削減見込みという定量的な成果も実現できた。
ただ、まだ残っている課題もある。渡辺さんによれば、可視化したコストの情報がデータエンジニアなど一部メンバーしか閲覧できないなどの問題があるという。
「現状はデータエンジニアを介してしかBigQueryのガバナンスを効かせられない。全社員が適切に閲覧権限を割り振られた状態で確認できるようにしていきたい」(渡辺さん)
関連記事
- 「すずめの戸締まり」制作でもAWSが活躍 レンダリングで活用 エンドロールにも……
11月11日に公開となった新海誠監督の映画最新作「すずめの戸締り」。制作に当たってはレンダリングなどの用途にクラウドサービス「Amazon Web Services」を活用したという。エンドロールにもロゴが……。 - ガンホー、「ニンジャラ」でもAWS活用 ゲーム特化のサービス採用で「運用コストを毎月4人月削減」
ガンホーが、対戦アクションゲーム「ニンジャラ」の開発にAWSのゲーム向けマネージドサービスを活用。快適なマッチングシステムが求められる中、フルマネージドサービスを活用し、遊びやすさを保ちつつサーバの運用負荷を削減したという。 - 「パブリッククラウドのアカウント数多すぎ」で起こる混乱をどう防ぐ? DeNAがフルクラウド化で直面した悩みと対策
提供しているサービス基盤などのフルクラウド化を実現したDeNA。一方で、パブリッククラウドのアカウント数が膨らみ、管理が煩雑になる事態にも直面した。同社の専門チームはこの危機をどう回避したのか。 - 「職員室でしかPCが使えない」 “生徒1人にPC1台”の裏で、進まぬ教育現場のデジタル化 意識改革が必要なのは誰なのか
“生徒1人にPC1台”施策の裏で、まだ進まない教育現場のIT活用。実現に当たって意識改革が必要なのは教師か、教育委員会か、自治体か。問題の本質を教育現場や有識者への取材から探る。 - クラウド活用が進まない中小の実態、原因は“社内カースト”に? 事例を分析
大企業に比べてクラウド活用が進まないといわれている中小企業。実際に中小に勤める人に話を聞くと、その実態が見えてきた。原因として考えられる「有識者の不足」「変化を嫌う文化」について、前後編で分析する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.