ITmedia NEWS > 科学・テクノロジー >

漫画の“コマ割り”のみから、どの作品か判別できるか? 北海道大などが100作品以上を分析、AIで検証Innovative Tech

» 2023年03月24日 08時00分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: @shiropen2

 北海道大学、群馬大学、奈良先端科学技術大学院大学、千葉工業大学に所属する研究者らが発表した論文「マンガのコマ割りのみから作品分類は可能か?」は、漫画の見開きページのコマ枠のみから、深層学習モデルで作品を分類できるか検証した研究報告である。

漫画の見開きページとそのコマ枠画像(1/2)
漫画の見開きページとそのコマ枠画像(2/2)

 漫画では、物語の進行が独特のコマ割りで描かれ、読者の目線を誘導するように細かく配置されている。そのため、作者はキャラクターや吹き出し、背景などの線画に対してだけでなく、コマ割りに対しても作品の独自性を持たせることができる。

 そこで、この研究では漫画のコマ割りのみから深層学習モデルを用いて作品を分類できるかを検証する。検証するに当たって、100冊以上の日本の漫画が収録されている「Manga109データセット」を利用する。

 Manga109データセットを用い、漫画の見開きページのコマ枠のみを描画した画像を作成し、深層学習モデルに入力する。モデルでは、漫画の見開きページ画像を入力として、その作品名を予測する多クラス分類モデル(ResNet101)を学習する。

 学習には、Manga109データセットより取得した漫画の見開きページ画像のうち、コマ情報を含む1万107枚104作品から80%程度を利用する。実験では「無加工の見開きページ画像」「マスク処理を施した画像」「コマ枠のみを描画した画像」の3タイプの入力形式を用意した。

3タイプの画像で分類を行った

 実験の結果、テストデータを用いた精度は、無加工画像が90.4%、マスク画像が80.1%、コマ枠画像が77.5%であった。これより、コマ枠画像のように作品に関する情報が少ない画像でも分類精度約80%と高い水準を達成できることが分かった。

 次に、上記の3タイプにおいて、モデルが分類を行う際に着目した特徴箇所を可視化することで定性的な分析を行った。可視化手法として、学習したモデルの特徴箇所をヒートマップとして表示できる「Grad-CAM」を用いる。

コマ枠画像をGrad-CAMでヒートマップとして可視化した図

 上図は、コマ枠画像をヒートマップとして可視化した画像であり、可視化することで作品に応じてどこに着目(ヒートマップの赤い部分)しているかの特徴を確認できる。

 例えば、上図の漫画作品「ラブひな」では、あるコマ枠の端に小さなコマ枠を重ねたり、上下のコマ枠で左右の端を異なる長さにしたりする技法が使われているが、モデルもその箇所に着目している。このことから、各作品におけるコマの重なりやコマ間のスペースなどコマ割りの細かい特徴傾向を捉えて分類していることが分かった。

 他にも、無加工画像の場合はキャラクターやその服装などの作品特有の情報や、マスク画像の場合だと吹き出し外のオノマトペなどの描き文字や効果線に着目して分類していることが分かった。

 これらの分析より、キャラクターのような強い特徴要素以外にも、コマ割りが作品ごとの特徴を作り出す上で重要な役割を果たしていることが実験的に確認できた。

Source and Image Credits: 吉永 瑛哉, 林 克彦, 鷲尾 光樹, 上垣外 英剛, 新保 仁. マンガのコマ割りのみから作品分類は可能か? 情報処理学会 研究報告エンタテインメントコンピューティング(EC)2023-EC-67



Copyright © ITmedia, Inc. All Rights Reserved.