Special
» 2020年06月19日 10時00分 公開

「Tポイント」7000万人の購買データに挑む──分析を速めた、執念のクラウド導入劇

[PR/ITmedia]
PR

 日本の総人口の6割弱に相当する約7000万人の購買情報を取り扱う企業がある。カルチュア・コンビニエンス・クラブ(CCC)傘下のCCCマーケティングだ。同社は、国内最大級の共通ポイント「Tポイント」の会員から日々生み出される膨大なデータを分析し、クライアント企業のマーケティングや商品開発に役立てている。

photo

 2017年〜19年にかけて、同社はそれまでオンプレミス環境で運用してきたデータ分析基盤をクラウドサービス「Microsoft Azure」に移行した。これを「オンプレ環境からクラウドへの移行」という時代の潮流に沿った、よくあるクラウド導入劇と考えるとその本質を見誤る。

 日本最大級ともいえる会員規模の分析データ基盤を、当時は“未知”だったクラウド環境に移行し、データアナリストが分析しやすい環境を整える──それまで経験したことのない取り組みだった。難題に怯むことなく立ち向かった、プロジェクトメンバーの物語をご紹介しよう。

「処理が終わらない」 データアナリストたちの悲鳴

 CCCマーケティングは、6000社以上のTポイント提携企業(アライアンス企業)に対し、マーケティングのコンサルティングとそのCRMおよび販促サービスを提供している。例えば洋服店であれば、本来は顧客が購入した洋服のデータしか把握できないが、Tポイントと連携すれば、1社では分かり得ない情報(会員が普段よく購入しているビールの銘柄、視聴しているテレビ番組など)ともつながり、顧客のライフスタイルの全体像が浮かび上がる。そうすると、セグメントした会員にどんなダイレクトメールを送ればよいか、どんな番組で広告を出せばよいかなど、効果的なプロモーションを提案できる。

 アライアンス企業だけでなく、化粧品や自動車などのメーカーへのマーケティングコンサルティングも提供している。CCCマーケティングの松井太郎氏(ITシニアマネージャー)は「一般的なクレジットカードとよく似たビジネスだが、われわれの場合は会員が何を買ったか、どのくらい買ったのか、バスケットの中身が分かるのが特徴。これらがビジネスの源泉だ」と話す。

photo CCCマーケティングは、7000万人以上の会員のデータを取り扱っている(同社の公式サイトより)

 こうしたデータドリブンなビジネスを支えているのが、同社のデータアナリスト部隊だ。アライアンス企業に対しては、1社あたり1〜2人の担当が就き、セグメントした会員へのアプローチ、販促の効果測定、最近では商品開発、店舗の棚割りの最適化まで手掛ける場合もあるという。この他にもAIの活用など、研究・開発に取り組むデータサイエンティストも在籍。データアナリストと合わせ、総勢100人ほどの精鋭を抱える。

 しかし2015年当時、データアナリストからは「分析業務が全く終わらない」という悲鳴が上がっていた。松井氏は「業務内容を広げていく中で、オーダーによっては複数のアライアンス企業のデータを横断的に分析する機会が増えた。コンビニ、日用雑貨を取り扱う店舗などTポイント提携店の全データを分析するとなると、データベースへの負荷は指数関数的に膨れ上がっていた」と振り返る。

 同社は当時、オンプレミス環境にデータウェアハウス(DWH)製品を導入し、辛うじて運用していた。「当初は100人が1台のデータベースに殺到する状況だったが、DWH製品を2面化して性能を倍にすることで負荷を分散させた。しかしそれでも『重い』と苦情が出ていた」(松井氏)

 松井氏は「ミラー2面構成にしたためコンピュート性能は2倍になったが、容量は1台のデータベースのまま。当時は15テラほどの容量(約90%)を使用し、年間十数パーセントのペースで増えると考えると、限界に近かった」とも指摘する。

 オンプレミス環境のままか、それともビジネスが伸びていく中、拡張性に優れるクラウドに移行するか。分析業務にデータベースのパフォーマンスが追い付かない状況に加え、ちょうどサーバのEOSL(メーカー保守終了)も目前に控え、決断の時は迫っていた。

未知へのチャレンジ 「反逆者になってでも進める」

 「クラウドは必須だ。あえて、反逆者となる道を選んだ」と松井氏は笑う。当時、クラウドに対する理解は、社内でも現在ほど進んでいなかったという。それゆえに、会員7000万人の分析データを取り扱うシステムのクラウド移行が、品質面とセキュリティの観点から難航を極めたのは想像に容易い。

 ITシステムに関しては、CCCグループ内のルールが存在した。CCCマーケティングを含めたグループ各社のIT基盤は、持株会社であるカルチュア・コンビニエンス・クラブ(CCC)が管理し「傘下の各事業会社は、持株会社のIT基盤の上でビジネスを構築しなければならなかった」(松井氏)という。

 持株会社のIT基盤を使わずに、クラウドベースのデータ分析基盤を作れないかと上申した松井氏だったが、当初は取り付く島もない状況だった。持株会社はオンプレミスで大規模なIT基盤を構築し、事業会社はその基盤を利用することを前提として、セキュリティポリシーやグランドルールも整備されていたが、それを大きく変える事案だった。さらにチャレンジには同意するものの、2015年当時はクラウド上に構築したシステムでセキュリティ、コンプライアンス面の課題をクリアした先行事例が少なく、基盤を管理する側に確信がなかったからだ。

 セキュリティは「守る」ことが一義的な使命だ。未知のものを積極的に受け入れる土壌は生まれにくい。クラウドに関していうと、他の動向を見極めてからといった結論に陥穽しがちになる。守る側の人からすると「会員7000万人の分析データを預けるに値するのか」という疑問が先に立つのは当然だった。

photo CCCマーケティングの松井太郎氏(ITシニアマネージャー)

 しかし、松井氏は諦めなかった。四面楚歌の状況でまず取り組んだのは、大手携帯電話事業者が提供する、クラウド導入についてのノウハウをパッケージ化したガイドラインの研究だった。このパッケージを契約し都度参考にしながら、CCC-IT基盤の有志と協力し、分析基盤のクラウド運用を想定したCCCのセキュリティポリシーの試案を作成した。

 グループ内には「CCC情報セキュリティ委員会」「CCC顧客情報管理委員会」などガバナンスを司る組織が存在する。これらの組織一つ一つにセキュリティポリシーの試案を示し、クラウド時代を見据えたCCC内のルール変更を上程したという。松井氏は「事前の調整に奔走した」と明かす。

 「システムを守るという立場上、未知のものに手を出しにくくなるのは仕方がない。しかしそれだと、世の中の潮流から取り残されるのは明白だ。先進性とセキュリティのバランスを取るために、皆で勉強しようという思いが強かった」

風向きが変わった、データセンター見学ツアー

 調整を続ける傍ら、クラウド導入の決め手ともいえる秘策を計画した。日本マイクロソフトに依頼し、データセンターの見学ツアーを組んでもらったのだ。この特別なツアーを組めたのは日本マイクロソフトだけだったという。見学ツアーには、IT基盤やセキュリティ、コンプライアンス部署の責任者など錚々(そうそう)たるメンバー約10人が参加した。

 ここで風向きが大きく変わった。参加者が一様に驚いたのは、オンプレミスのデータセンターで実施してきたセキュリティ要件をはるかに上回る、厳しい設計・運用思想が貫かれている点だったという。

 「実際に見学させてもらえると大変多くの対策や工夫がされていて、目に見える安心感があった。『クラウドは見えない』といわれるが、見えないものを信頼してもらうために『ここまでやっているんだ』ということが伝わり、感銘を受けた」(松井氏)

 こうして「セキュリティを高めるために、むしろクラウドを導入すべし」という空気が醸成され、PoC(概念実証)の許可が下りた。情報セキュリティ規定の見直しも進んだという。松井氏は「上司の全面的なバックアップ、IT基盤メンバーや関連部署、皆が協力してくれたおかげでクラウド移行を成し遂げられたというのが正直な感想だ」と笑顔を見せる。

 他社のクラウドサービスとも比較検討したが、最終的にMicrosoft Azureに決定。2017年6月ごろにプロジェクトが正式に発足した。オンプレミス環境と併用しながら細かいチューニングを繰り返し、2018年末にクラウドに完全移行。2019年にはこれまで運用していたDWHは廃棄し、Microsoft Azureに一本化した。執念が実った瞬間だった。

4日の作業が1日に 「ビジネスのサイクルが速まった」

photo CCCマーケティングの大賀宏昭氏(データアナリシス企画 データマネジメントユニット ユニットリーダー)

 Microsoft Azureが本格稼働し、分析業務の時短が大幅に進んだ。CCCマーケティングの大賀宏昭氏(データアナリシス企画 データマネジメントユニット ユニットリーダー)は「オンプレミス時代は、分析処理に6〜7時間は必要だったので、退社前に処理を実行し、翌朝出社したら完了しているというスタイルだった。クラウド移行後は、大方の処理は2時間以内で終わる」と明かす。

 松井氏は「夜間に処理を行っていた時代は、翌朝結果を見て、調整して再度分析処理を実施する、といったサイクルで仕事を回していたので、業務1件当たり3〜4日を費やすのが普通だった。現在では勤務時間内に処理を終えられるので、最短で翌日には確定版をリリースできる。ビジネスのサイクルが速まった」と胸を張る。インフラの導入・運用コストも「数十パーセントは安くなった」という。

 データサイエンティストにとっても、働きやすい環境が整ったという。「これまでなら色んなクエリを試したり、インスタンスを立てたりするにしても、自分たちでサーバなどを調達する必要があった。Microsoft Azureだとすぐにデプロイできるので、挑戦がしやすい。結果的にさまざまなソフトやサービスをMicrosoft Azure上で数日〜2週間程度で構築している」(松井氏)

 松井氏は「データ分析基盤は『処理が早く使いやすいこと』が重要だ。その点は拡張し、求められるスペックにしたい」と話す。これに加え“攻めのデータ分析”のために機械学習の活用も進める。「機械学習を使ったマーケティングは今も取り組んでいるが、人手を介しているケースが多い。クラウド上にさまざまなサービスを作り、そこにアルゴリズムを組み込みたい」という。

 例えば、松井氏は「当社はTポイント会員向け、B2C(Business to Customer)分野で未開拓の部分もある」と説明する。そうしたフロント部分で機械学習を活用する考えだ。

 「アライアンス企業から販促の依頼が増えると、Tポイント会員からすれば情報が氾濫することになる。現状でも7000万人全員にプロモーションをするのではなく、商品・サービスに合う会員に絞ってレコメンドをしているが、それでも1人当たり数十件のおすすめが届くとパンクしてしまう。フロントの部分でアルゴリズムを使い、会員から見た優先順位も加味してレコメンドできれば、結果的に会員の満足度も上がるし、企業からするとコンバージョンも増え、われわれのプラットフォームの価値も向上する。Win-Win-Winの関係が築ける」(松井氏)

photo

 松井氏は「T会員の満足を向上させつつ、アライアンス企業やメーカーへの価値提供を高めるためにデータ活用は欠かせない。トライアンドエラーが付き物だが、クラウドだから試行錯誤はしやすい。基盤の機能を拡張し続けるのはITとしての天命だ」と意気込んでいる。

(後編)1年半、チューニングの嵐を越えて──「Tポイント」データ分析基盤を開発した男たち、汗と涙の記録

photo

 データ分析基盤をオンプレミス環境から「Microsoft Azure」に移行したCCCマーケティング。他に類を見ない大規模な会員データを取り扱うシステムだけに、処理能力や耐障害性などミッションクリティカルな要件に加え、使い勝手の高さも要求され、プロジェクトは難航した。開発メンバーはいかにして苦難を乗り越えたのか。


Copyright © ITmedia, Inc. All Rights Reserved.


提供:日本マイクロソフト株式会社
アイティメディア営業企画/制作:ITmedia NEWS編集部/掲載内容有効期限:2020年6月25日