これからのAIの話をしよう（クイズ編）

強すぎて「会場がシーンと……」　クイズ王を圧倒した“早押しAI”の衝撃（2/2 ページ）

公開 2018年02月28日 08時00分

更新 2024年04月02日 12時21分

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

　その手法はこうだ。あらかじめWikipediaの記事タイトル（エントリ）、記事中の単語を関連性の「近さ」「遠さ」でマッピングしておく。例えば、織田信長と豊臣秀吉というエントリは近く、また豊臣秀吉の周辺には戦国時代という単語がある――というようなイメージだ。開発したモデルは、質問文に織田信長、戦国時代といった言葉が出てくると、それらと近しい言葉の“塊”付近に答えになる言葉がありそうだと推測し、候補を絞り込んでいく。このモデルには、Wikipediaの記事に加え、クイズボウルの過去問データも学習させた。

　そうして完成したモデルを検証していると、例えば「モーツァルトの曲を答えなさい」という質問文に対し「モーツァルト」と解答するように、人名か曲名（作品名）かなど解答の“型”を見誤るエラーが起きた。このことから、このAIは質問の文脈を理解できていないことが分かる。

　そこで山田さんらは、もう1つのモデルとして、解答の“型”を予測するモデルを開発した。「モーツァルト」の場合は「作曲家」というように、あらかじめWikipediaの各エントリに対して型をタグ付けする方法を用いた。「型が一致している／していない」ことから解答の候補を絞り、質問文の早い段階で正解にたどり着けるようになったという。

　ディープラーニングのモデルに加え、情報検索モデルも用意した。解答の候補となっているWikipediaのエントリや文章と、実際の質問文を比べてどれほど一致しているか「マッチ率」を数値化。単語1つずつではなく2つ単位でマッチさせると、特徴的なフレーズが出ている場合は、特にマッチ率の値が高くなる。

　こうしてディープラーニングモデルや情報検索モデルから出力した特徴を融合（アンサンブル学習）させることで高精度化を実現したという。質問文が読まれる（表示される）と、質問文と解答候補のペアを複数挙げ、それぞれに0～1の範囲で解答が正しいかどうかの確率を付与。質問文を読み進むにつれて確率が変動し、0.6以上になると早押し解答する――という仕組みにした。

　事前にテストデータで検証したところ、確率が0.6以上での解答は9割前後。クイズ王から点数をもぎ取るには“押し勝つ”必要があるが、相手に解答権を与えないよう誤答は最小限にとどめなければならない、というジレンマがあった。

　クイズ王チームは6人。1問に対しクイズ王らは6回押せるが、AIは1回しか解答するチャンスはない。しかもAIが誤答、解答権を失うと、クイズ王側は質問文が最後まで読まれるのを待って解答できるため、間違えることはほぼない。

　そんな圧倒的に不利な条件での勝負だったが、AIが本番で誤答した回数はわずか2回（出題数は56問）。雪辱を果たした。