イラスト閲覧数を投稿前に予測する技術、ドワンゴが開発 ディープラーニング応用

[ITmedia]

　ドワンゴは、ディープラーニング技術を応用して「ニコニコ静画」のイラストの閲覧数を投稿前に予測する技術などを開発し、11月2日に開幕した展示会「第8回ACM　シーグラフアジア2015」（神戸国際会議場・神戸国際展示場、5日まで）でデモンストレーションを展示している。研究者向けデータ公開サイト「nico opendata」を新たに開設。モデルデータなどを公開する。

イラスト画像からの閲覧数予測

　閲覧数予測は、ニコニコ静画にこれまで投稿されたイラストの閲覧数とお気に入り数をニューラルネットで学習し、画像データのみから閲覧数やお気に入り数を予測する技術。投稿前に予想スコアが上がるまで描き直したり、画像内のどのエリアがどの程度予測閲覧数に寄与しているかを提示する――など、クリエイター向け投稿支援への応用を検討しているという。

　ニコニコ静画のイラストに設定されたタグをディープラーニングで学習し、画像データからユーザに付けられるであろうタグを推定する自動タグ付け技術も開発した。

セマンティックモーフィング

　2つのイラストの“意味的”に中間となる画像を抽出する「セマンティックモーフィング」技術は、東京大学大学院と共同で開発。タグを予測するよう学習したニューラルネットワークを通じてイラストの特徴を表す数千次元のベクトルを抽出し、2つのベクトルの中間のベクトルに近いイラストを近傍探索。画像とタグの中間的な情報を用いているため、髪色や長さの程度、服装の差異、デフォルメの度合いなどがモーフィングできるとしている。

　新たに、研究利用向けデータ公開用サイト「nico opendata」をオープンした。独自開発したGPUサーバファーム「紅莉栖」（くりす）を使用し、ニコニコ静画に投稿された200万枚を超えるイラストを学習したディープラーニングのモデルデータを公開。イラストデータとメタデータのデータセットも12月上旬から提供する。