絵巻物のモチーフをAIで判別 木、橋、動物――作品の共通点に注目する新たな鑑賞スタイルを体験：遊んで学べる「Experiments with Google」（第5回）

[佐藤信彦，ITmedia]

　「Experiments with Google」は、Googleが人工知能（AI）や拡張現実（AR）といった最新技術の可能性を示すために、実験的な応用例を紹介するショーケースだ。膨大なコンテンツを公開しており、その多くはスマートフォンやPCで試せる。

　この連載では、多種多様な応用例の中から興味深いものをピックアップ。実際に遊んだ体験レポートを通して、裏側にある技術の解説を行っていく。

　読者の皆さんも、ぜひ自分の手で試しながらその仕組みを学んでもらえたらうれしい。きっと、最新技術の魅力に気付くはずだ。

新しい美術鑑賞が体験できる「Beyond Scrolls & Screens」

　連載5回目の今回は、絵巻物や屏風（びょうぶ）に描かれた美しい絵を次々と鑑賞できる「Beyond Scrolls & Screens」を取り上げる。これは、AIで絵画の中に描かれたモチーフを判別できると説明するためのWebアプリケーション。題材として、日本の古い巻物や屏風を使っている。

日本の巻物や屏風がテーマのBeyond Scrolls & Screens（出典：Google）

　Beyond Scrolls & Screensを始めると、まず美術的／歴史的に価値が高そうな絵が画面上に表示される。そして、鮮やかに紅葉した葉を付けた木に「木！」と書かれた吹き出しが現れる。マウスでドラッグして絵を上下左右に動かすと、「水！」「橋！」「動物！」「花！」「帽子！」などなど、次から次へと描かれたモチーフが何であるかAIで判別した結果を吹き出しで表示する。

　最初の絵は、東京国立博物館が所蔵する「観楓図屏風」（狩野秀頼）。面白いのはここからだ。吹き出しをクリックすると、同じモチーフが描かれた別の作品を探し出してくれる。表示される作品は同じ美術館のものとは限らず、いろいろな美術館の作品を集めている。

　このように、Beyond Scrolls & Screensは描かれたモチーフを見事に判別するAIの能力を体験できる。その上、特定の美術館に縛られず1つの作品から別の作品へと流れるように絵を見られる、今までにない新しい鑑賞スタイルを提示している。

美しい屏風が広げられるオープニング（撮影：筆者、出典：Google）

描かれたモチーフを渡り歩き、流れるように美術作品を鑑賞する

　Beyond Scrolls & Screensを試すには、いつもと同じように「LAUNCH EXPERIMENT」をクリックして始めよう。画面に屏風が広がり、描かれたモチーフに吹き出しが重なっていく美しいオープニングムービーが流れる。

　なお、画面右下にある「SKIP」をクリックすれば再生終了を待つことなくBeyond Scrolls & Screensをスタートできるが、クリックするタイミングによってはうまく動作しないことがあった。オープニングムービーは長くないので終わるまで待った方がいいだろう。

「木」が共通点の作品を見に行こう

　オープニングを見終えて、いざ実際に動かしてみる。日本の美術作品を扱うコンテンツだからか、日本語表示が選択可能だ。作品名などは日本語の方が分かりやすいので、まず英語から日本語に切り替える。

　観楓図屏風の中央には紅葉で真っ赤に染まった楓の木があり、その上に「木！」という吹き出しが現れる。この吹き出しをクリックすると、滑らかに画面が切り替わって別の絵がいくつか現れ、各作品に描かれた木の部分がズーム表示された。

　一口に木といっても、さまざまな描き方があると気付かされる。しかも、最初に表示された東京国立博物館の所蔵品だけでなく、東京富士美術館と立花家史料館にある作品も楽しめる。複数の美術館を股にかけて見学するようなものだ。

　気になる作品をクリックすると、絵の中に描かれている多種多様なモチーフのリストが表示される。いずれもAIで自動的に分類したもので、実にさまざまなモチーフを認識できている。筆者は、何やら生首らしいものが一瞬映った右下の「芸州武太夫物語絵巻」（作家不詳、立花家史料館）を詳しく見たくなった。

木が描かれた作品をのぞいてみる（撮影：筆者、出典：Google）

絵巻物を追って出会った一つ目の妖怪　AIの判定は？

　芸州武太夫物語絵巻は絵巻物なので横に長い。左へ、左へとスクロールしていくと、AIで判定したモチーフを「家具！」「人！」「顔！」「服！」と表示してくれる。見進める中で全身が真っ赤な一つ目の妖怪に出会った。しかし、AIに妖怪という知識を与えていないのか「足！」という吹き出しが付いてしまった。その前に、妖怪がいることを教えてほしいのだが。はだしを「履物！」とするあたりも、AIの限界なのだろう。

　毛むくじゃらの巨大な一つ目妖怪は「動物！」とされたので、ほかにどんな動物が描かれているか見てみた。すると馬や鷲か鷹のような写実的な動物だけでなく、着物に描かれたウサギの柄や、架空の動物である竜が選ばれた。まぁ、一つ目妖怪が動物なら、竜も動物だ。

　ともかく、芸術作品は体系的に見ていくことも良いが、描かれているものを鍵にしてたどっていくのも面白い。

妖怪が登場する絵巻物をたどるとAIの限界が見えてくる（撮影：筆者、出典：Google）

気になった作品を詳しく勉強　拡大して筆遣いまでチェック

　Beyond Scrolls & Screensの大きな魅力は、興味を持った作品について詳しく学べるところだ。例えば「源氏物語」（狩野派、東京富士美術館）をクリックすると、Googleの芸術作品紹介サイト「Arts & Culture」のページが開き、作品解説を読める。所蔵している東京富士美術館の紹介ページにも飛べる。

　解説ページの下部には「おすすめ」コーナーがあり、関連する別の作品を手軽にのぞける。Beyond Scrolls & Screensで鑑賞できる東京国立博物館、東京富士美術館、立花家史料館だけでなく、Arts & Cultureと連携して国内外のさまざまな美術館の所蔵品を見られる。

　同じような雰囲気の絵が見たければ「視覚的に似ている」をクリックすればいいし、絵のテクニックに興味があるのなら「素材と技法が同じ」をクリックすればいい。同じ作家や同じ時期の作品、描かれた場所が同じ作品、といった楽しみ方もある。

　解説ページの作品画像は、拡大して詳細を観察できる。拡大していくと高精細な画像に切り替わり、紙や布の繊維、筆遣いまで見えるほどの細かさだ。これなら、実際の展示物を肉眼で見るよりも細かく見られるだろう。芸術作品の実物を見ることはもちろん大切だが、これほど詳細に時間をかけて自宅から鑑賞できることは素晴らしい。

肉眼では見えない筆遣いも見える（撮影：筆者、出典：Google）

Google Arts & Cultureなら自宅から美術館に行ける

　解説ページが充実しているのは、東京国立美術館の収蔵品だ。Beyond Scrolls & Screensの観楓図屏風からGoogle Arts & Cultureの解説ページを開いてみよう。詳しい解説文が読める。

　さらに、ここから展示室へも飛べるの。正確には、展示室のストリートビューを開くことができる。まるで東京国立美術館を訪れ、展示室で絵を見ている気分になる。腰を据えて鑑賞してもよし。ほかの展示室を回ってもよし。

　ほかの人に遠慮することなく好きなだけ見学できる、新しい時代の美術鑑賞スタイルだ。僕たちは「どこでもドア」を手に入れたのかもしれない。

ストリートビューで美術館へ行こう（撮影：筆者、出典：Google）

上下逆の生首の性別を判別　驚くべきAIの性能

　Beyond Scrolls & ScreensにおけるAIを使ったモチーフの判別は、人間によるタグ付け情報を使っていない。画像から情報を抽出する「Google Cloud Vision API」の機械学習アルゴリズムを活用し、描かれているものが何なのか分類している。

　人の顔を絵から選び出すにとどまらず、性別まで見分けてもいる。芸州武太夫物語絵巻に描かれていた生首は、上下が逆さまに描かれていたにもかかわらず正しく女性と認識していて驚かされた。

上下逆さまの生首でも、女性と認識していた（出典：Google）

　一方で妖怪を認識できなかったり、動物や花として着物の柄をピックアップしたりするなど、AIもまだまだと感じるところも多い。しかるべきデータを与えて学習を繰り返せば改善できる可能性があるが、実際には難しいようだ。

　画像認識AIアルゴリズムの場合、人間には判別できないわずかな画像の相違で分類を誤ってしまう、敵対的サンプルというものが存在する。人間なら間違えない状況でも、AIは考えられないほど極端な誤判断をすることがあるのだ。

　今回は屏風や絵巻物だったから許容できるが、もし自動運転で標識を見誤ったら大事故につながりかねない。対策は検討されているものの、今のところ根本的な解決策は見つかっておらず、AIの実用化に当たっての大きな課題といえる。

　このように、Beyond Scrolls & ScreensはAIの優れた性能と限界を楽しみながら体験できる。美術作品を鑑賞するための、Google Arts & Cultureと連携する仕組みも秀逸で、芸術鑑賞の新しいスタイルを提案していると感じた。