ロイヤルカスタマーの解像度を上げる〜約100のAIモデルをMLOpsで自動運用するNTTドコモ：MLOps実践事例（2/2 ページ）

[谷川耕一，ITmedia]

機械学習モデルの活用でロイヤルカスタマーの新たなペルソナが見えてくる

　NTTドコモでは、Amazon Web Services（AWS）のプラットフォーム上にDataRobot AutoMLのオンプレミス版をセットアップし利用している。AutoMLで利用するデータには個人の情報が含まれるため、SaaS（Software as a Service）版ではなく、AWS上のプライベートクラウドにDataRobotの環境を構築している。その上で、NTTドコモでは、キャリアとしての経験からあらかじめ個人を特定する情報を排除した形で個人に関するデータを用意している。これを使うことで、機械学習での利用にも特段の制限は必要ない。

　機械学習用環境の準備は迅速に進んだが、DataRobotの仕組みは入れたらすぐ、自由に使ってと言うものではなかった。DataRobotでは、ビジネス現場で機械学習技術の効果が得られることを重視している。そのため、使い始める前にしっかりとハンズオンのトレーニング受講を推奨している。「きちんと事業に貢献できるところまで、DataRobotが伴走してくれます。これは非常に有り難かったのですが、トレーニングの受講は大変でした」と藤平氏は振り返る。

　トレーニングには4チーム計10人ほどが参加した。DataRobotのツールの使い方はドキュメントなどを見れば分かる。トレーニングでは実データを使い、施策を検討して必要なデータセットを作る。そして仮説を立て、DataRobotでモデリングをする。その過程で得られた知見はDataRobotの担当者がレビューしてフィードバックを受ける。業務の合間に時間を作り、これら一連の作業を一週間ほどで繰り返すのはタフな作業だったようだ。

　トレーニングでDataRobotを実際にビジネスで活用する方法を理解した上で、本番での利用が始まる。当初はマーケティング施策などのROI改善に機械学習モデルを活用しようと考えた。とはいえ機械学習モデルを活用したり効果的な施策を新たに作ったりするのはそう簡単ではない。

　そこで藤平氏らは、前段階の取り組みとして過去の施策の評価から検証を始めることにし、手始めに過去の施策の成否を予測するモデルを構築した。

　「施策の成功、失敗の要因が、DataRobotで提示される特徴量のインパクトを見ることで分かります。そこから施策がどのような理由でうまくいくかいかないかのディスカッションができるようになりました」（藤平氏）

　従来は、主に性別や年代などの属性でセグメント化し情報発信をしていた。それに対し、Webサイトの訪問頻度や利用コンテンツなど、ユーザーの行動情報を機械学習の説明変数に入れることで、施策に対する反応率が高いユーザーの行動が明らかになる。ここから得られた知見で、ユーザー属性ではなく「こういうコンテンツを使っている人が施策に反応してくるなどの行動が分かり、ロイヤルカスタマーの新たなペルソナが見えてきました」と藤平氏は言う。

　DataRobotには最新の情報提供だけでなく、モデリングして得られた結果を統計的にどう捉えれば良いかなど、より深い相談も行っている。「データセットを渡せば、DataRobotはモデルを作ってくれます。渡す前のデータにいかにバラエティーを持たせるかで良いモデルができあがるので、そのための相談はよくしています」と藤平氏は言う。

　DataRobotの利用でモデルを数多く作れるようになり、さまざまなモデルを同時並行的に走らせるケースも増えた。5000万人分の膨大なユーザーデータを利用していることもあり、並行して処理すると予測を行うサーバーなどがボトルネックになることもある。ボトルネックの改善には、AWSサービスの利用を増やすことになりコストの増加につながる。モデル数が増えても効率的にモデリングや予測が行えるようにするため、オペレーション部分のさらなる改善が必要となる。

　課題としては前処理やモデルの学習、予測の再現性を保証する必要がある。また機械学習の一連のワークフローを毎回実施するのは大変なので、パイプラインとして整備し再開発しやすくする。さらに利用していると劣化してFくるモデルの精度を監視し適宜改善できる必要もある。これら手間のかかるオペレーションを効率化するため、NTTドコモではモデル数も大きく増えた2021年頃から、AutoMLの機能を用いMLOpsに本格的に取り組んでいる。

AutoMLによるMLOpsの実現で100を超えるモデルの運用を効率化

　NTTドコモで利用する、全てのデータモデリングをDataRobotのAutoMLに集約しようとしているわけではない。とはいえデータプラットフォーム部が主体となって携わるものだけでも、新規、既存を含め100モデルくらいのMLOpsのパイプラインがあり、それらは既にAutoMLに集約しMLOpsで運用している。

　集約によりオペレーションが効率化され、AWSのインフラコストは圧縮され、管理の作業時間もかなり減っている。「当初の1人で5モデルの運用をしていた際には、1日その運用にかかりっきりで他には何もできませんでした。いまはAutoMLを使い、約100モデルを3人で運用しています。問題がなければ特に何もせずにモデルの運用は回り、安定した予測が可能になっています」と藤平氏は言う。

　これまでに、運用中の約100モデルにおいて特に精度が劣化するような状況は発生していない。課題はデータの遅延などの、データ流通に関する課題がある。この問題には、AWSのマネージドサービスで利用しているPythonベースでタスクの依存関係を記述できるツール「Apache Airflow」を使い、データが滞る部分などを特定し自動でリカバリー処理を実行するなどで対処している。

　今回までの取り組みで、エンジニアがAutoMLを使って機械学習技術を活用できるようになったことから、2022年7月ごろからはビジネスユーザーでも使えるように新たにユーザーインタフェース（UI）を開発する計画を進めている。

　DataRobotは、もともとPythonやSQLが使えなくてもノーコードで利用する方法が用意されているため、実はビジネスユーザー向けのUIを開発しなくても利用できる。あえて藤平氏らが独自のUIを開発するのは、既存の環境に合わせてビジネスユーザーが使いやすい環境を構築することが狙いだ。AutoMLの活用で効率化して生まれたエンジニアリソースの余裕分は、これらのAI活用を社内に広げる取り組みに投入されている。

　多様な場面でAIを使った分析が可能になれば顧客理解が深まり、サービスやコンテンツ提供のパーソナライズや新たな価値提供の幅も広がる。もちろんパーソナライズを進めるに当たってはデータをどう使っているかを開示する責任も果たさなければならない。

　生成AIに代表されるような新しいAI関連技術にも関心もあるというが、「大事なのは顧客に価値を還元できるかどうか。まずは実際に触れてその評価から取り組みたい」と吉田氏は考えている。DataRobotの利用を続けるに当たっては新しい技術の取り込みや顧客からの信頼を守る仕組みにも期待をしているという。