ディープラーニングは何ができる？ エンジニア以外も知っておきたい注意点：よくわかる人工知能の基礎知識（3/3 ページ）

[小林啓倫，ITmedia]

　ディープラーニングのブラックボックス問題は、あるインプットから何らかの判断を行うAIをディープラーニングで実現した場合、「なぜその判断を下すに至ったのか」を誰も説明できなくなる、すなわち判断がブラックボックス化してしまうことを指す。

　アイスの販売予測を例に挙げよう。いま手元に、ある店舗における過去のアイス売上データ、周辺の気温データ、費やした広告費のデータがあったとする。そして重回帰分析を使い、気温データと広告費データに基づいて、アイスの売上額を導き出すモデルを作ったとしよう。世間でいうAIのイメージからかけ離れたものではあるが、この作業も一種の機械学習だ。

　このモデルを使って機械が将来のアイス売上を予測した場合、出てきた結論について「なぜ機械はこのように判断したのか」を理解することができる。つまり気温と広告費、アイス売上額の間にある相関関係に注目し、3つの数値の間を結ぶ数式を作って、その計算結果に基づいて結論を出したのだ。それがどこまで正しい結果を導くものかは別にして、人間は機械が結論へと至ったプロセスを理解し、必要であれば入力するデータやモデル自体を修正できる。

　ところがディープラーニングの場合、機械がこの3つをどのような関係として捉えているのか、また2つの説明変数（気温データと広告費データ）がどの程度の重要性を持っているのか、構築されたネットワークを読み解かないと理解できない。今回の例のように、説明変数がごくわずかな場合には、気温を一定にして広告費の量を変えてみるなど各変数の値を少しずつ変化させ、その出力結果を見て機械の「考え方」を推測する方法もある。

　しかし与えられるデータが複雑になり、大量の隠れ層とノードによってネットワークが構築されている場合には、とてもそうした検証は追いつかない。

　また「画像に写っているのがネコかどうかを判別する」AIでは、そもそも何が説明変数になるのか明確になっていない。このAIにネコの写真を見せ、「写っているのは犬です」という回答が返ってきたら、それは顔の輪郭から誤解したのかもしれないし、模様で誤解したのかもしれない。単に訓練で使ったデータが悪くて、四本足の動物すべてを「犬」と判断しているのかもしれない。

　このように、「なぜAIがそう考えたのか」を説明することが、ディープラーニングでは困難になる場合があるのだ。

　別に結論を導き出したロジックが不明でも、正しい結果が得られれば良いではないか、と思われたかもしれない。確かに開発したAIの目的によっては、ブラックボックス問題が重要ではないこともあるだろう。

　しかし近年、AIの適用範囲は大きく広がっており、司法や立法における重要な判断（被告人に判決を下すなど）に使われるケースも生まれている。その場合、「なぜこの結論に達したか」を説明できないと、結論に関係する人々から納得が得られなかったり、最悪の場合には誤審があっても誰もそれに気付くことができなくなったりしてしまう。

　こうした無視できない影響があるため、ブラックボックス問題に対しては、いま多くの研究者が「説明責任を果たせるAI」の実現に取り組んでいる。将来的には、さまざまな対策が講じられることだろう。

　しかし現時点では、ブラックボックス問題があるために、あえてディープラーニングを使わずにAIアプリケーションを構築する例もある。ブラックボックスを放置してしまっては、何か問題が起きた際に、顧客や住民などから非難される恐れがあるためだ。仮に別のアルゴリズムを使うことで出力の精度が落ちても、訴訟などのリスクを考えれば仕方ないという判断である。

　そうした現実のリスクがあることを理解し、AI活用において適切な判断を行えるようになるという点も、基本的なAIの仕組みを理解しておくことの大きなメリットといえるだろう。

著者プロフィール：小林啓倫（こばやし あきひと）

経営コンサルタント。1973年東京都生まれ、獨協大学外国語学部卒、筑波大学大学院地域研究研究科修士課程修了。システムエンジニアとしてキャリアを積んだ後、米Babson CollegeにてMBAを取得。その後外資系コンサルティングファーム、国内ベンチャー企業などで活動。著書に『FinTechが変える! 金融×テクノロジーが生み出す新たなビジネス』（朝日新聞出版）、『IoTビジネスモデル革命』（朝日新聞出版）、訳書に『テトリス・エフェクト 世界を惑わせたゲーム』（ダン・アッカーマン著、白揚社）、『シンギュラリティ大学が教える 飛躍する方法』（サリム・イスマイル著、日経BP社）など多数。