「Splatoon 2」をディープラーニングで攻略してみなイカ？ 2018（後編）（2/3 ページ）

[mirandora，ITmedia]

　そこで、ここまで用いたプレイヤーリザルト（戦績）のデータではなく「ステージのインク塗り結果」のキャプチャー画像を用いて、Deep Learningで勝敗を予測し、さらにそこから重要な塗りポイントを特定してみます。

ステージのインク塗り結果

　上記のような画像をDeep Learningで解析していきますが、実際の処理としてDeep Learningは、データ量が少ないと高い精度を出せないため、元画像を拡大縮小、回転するなどしてバリエーションを増やし、解析する画像の枚数を水増ししました。

元画像を回転するなどしてバリエーションを増やし、解析する画像の枚数を水増し

　このようにして、Deep Learningで各ルール80％以上の精度で勝敗を予測するモデルを作成しました（試合数が少ないステージはモデル対象外）。しかしこのままでは、なぜ精度がよいのか、Deep Learningが「画像中のどこを見て判断しているのか」分かりません。

　そこで「Grad-CAM」という手法を用います。Grad-CAMとは、Deep Learningの予測において、ある画像箇所にわずかな変化を加えたときの、確率スコアの変化の大きさによって、各判定結果の確率スコアへの影響が大きい画像箇所を特定する、という手法です。

「Grad-CAM：Visual Explanations from Deep Networks via Gradient-based Localization, 2017」より引用（参考：https://arxiv.org/abs/1610.02391 https://github.com/jacobgil/keras-cam）

　先ほど学習済みのDeep Learningのモデルから、Grad-CAMの画像を作成してみると、勝利判定で特に重要視された場所はどこなのか、ヒートマップを使って可視化することができます。

　例えば「バッテラストリート」というステージでの解析結果は下記となりました。モデルは、2018年4月〜10月中旬までのデータから学習しているのですが、せっかくですので11月7日のアップデートで若干修正が入った後のステージの塗り結果画像にそのモデルを用いてみます。

　バッテラストリートは、結果画像からエリア全体が見えない、という前提を踏まえて、Deep Learningが「どこに注目して勝率を予測しているか」を見てみます。もちろんエリアの一部は見ているものの、エリアの手前と奥、橋の上、そして前後をどちらが抑えたか――あたりがハイライトされているようです。また、エリア右下の自陣手前奥もハイライトされていることから、敵の“裏取り”ルートの塗り状況にも注目していそうなことが分かります。

　以上の結果を打開、防衛の作戦に生かせば、勝率アップにつながるかもしれません。