文系でも分かる「機械学習」のススメ 教師あり／なし、強化学習を解説：よくわかる人工知能の基礎知識（3/3 ページ）

[小林啓倫，ITmedia]

「強化学習」とは

　強化学習も同様に、アルゴリズムに対して何が正解かを事前に教えることはない。その代わりに、まずは機械に達成させたい「ゴール」（ゲームに勝利するなど）を設定し、アルゴリズムが何らかの判断を行うと、その結果に応じて「報酬（もしくは罰）」を与える。それを繰り返すことで、得られた報酬がフィードバックとなり、機械が自ら「正しい」行いを把握できるようになる。行動を繰り返していく中で、徐々に学習していくわけだ。

　ちょうど飼っている犬や猫をしつける際、お手ができたらおやつを上げる、テーブル上の料理を盗み食いしたらしかるといったフィードバックを繰り返すことで、望ましい行動を取ってくれるようになるイメージである。

　強化学習の解説においては、ゲームやスポーツの試合が引き合いに出されることが多い。「勝利する」という目的は1つでも、そこに至る道筋は1つではなく、短期的には悪手と思われるような判断が長期的にはメリットをもたらす場合もある。そのようなシチュエーションにおける最適な行動を機械が学習するために、強化学習が活用されている。

ゲーム「スタークラフト2」で、米Google系列のDeepMindが開発したAIが人間のプロゲーマーに勝利。AIに強化学習を行った

　例えばカナダにあるライアソン大学の研究者らは、自動運転車に急ブレーキを回避する運転技術を学ばせるために強化学習を応用した。

　事故を防ぐためにはもちろん車両を止めないといけないが、あまり急激に停止すると中にいる乗客がダメージを負う危険がある。そこで研究者たちは「クルマが衝突したら罰を与える」「ブレーキをかけた際に急停止したら罰を与える」という2種類のフィードバックを用意し、その結果に応じて罰の厳しさを調整しながら車両に搭載するAIでシミュレーションを行った。その結果、この2つの罰を回避することで事故を避けつつ乗り心地も守るという運転技術を、AIに考えさせることに成功した。

進化を続ける機械学習の手法

　前回も解説したように、ここで挙げた3つの方法は排他的なものではなく、教師あり学習と教師なし学習を組み合わせた「半教師あり学習」という手法も存在する。

　半教師あり学習では、アルゴリズムをトレーニングする際に、教師ありデータと教師なしデータの両方を活用している。機械学習を研究する専門家たちは、こうして2種類のデータを組み合わせることで、学習の精度を著しく向上させられると指摘する。

　半教師あり学習では、教師ありデータの方が少ないことが一般的で、与えられるデータの大半が教師なしデータだ。これは教師ありデータを大量に用意できない場合に有効で、従来に比べ少ないデータから精度の高いモデルを完成させることができる。

　また「どのようなデータを与えるか」だけでなく、「どのようにデータを与えるか」「既存の資産をどう生かすか」といった観点からも、さまざまな手法が生まれている。

　一例として「転移学習」を挙げよう。教師あり学習のところで、クレジットカードの不正取引を判断させるケースを例として挙げたが、そこで構築されたモデルを使って似たような判断ができないだろうか。

　例えば金融機関がチェックすべき取引は、詐欺行為に関するものだけではない。近年の国際情勢によって、テロリストやテロ行為に関係すると思われる取引をチェックすることも極めて重要になっている。もちろん金銭を得ることが目的の不正取引と、マネーロンダリングのような犯罪を目的とした不正取引を同一視はできないが、一部の知識は流用できるはずだ。

　それを実際に行うのが転移学習で、ある領域において構築したモデルを別の領域へと文字通り「転移」して活用する手法を指す。そう簡単にはいかないが、新しいモデルをゼロから構築するのに比べ、より少ないデータで一定の精度を得られる可能性がある。

　実際にさまざまな取り組みで成果を上げていて、例えば今年3月に理化学研究所が発表した「人工知能による高精度緑内障自動診断」では、転移学習が活用され少ないデータで高い精度が実現できたとしている。ちなみにこの研究では「ランダムフォレスト」という別の機械学習手法も組み合わされている。

理化学研究所による「人工知能による高精度緑内障自動診断」

「最新手法が最善」とは限らない

　このように機械学習の分野では、次回解説するディープラーニングと合わせて学習方法に関する研究がいまも進んでいる。人間の学習法ですら「アクティブラーニング」（能動的な学習）のようなトレンドや革新が生まれていることを考えれば、それも当然の話だろう。

　当然ながら、最新の手法や流行の手法が自社にとっても最善の選択肢であるとは限らない。しかし少なくとも、いちど検討が終わったら満足してしまうのではなく、「もっと優れたやり方が登場しているかもしれない」という関心や好奇心を持ち続けていくことが望ましい。

著者プロフィール：小林啓倫（こばやし あきひと）

経営コンサルタント。1973年東京都生まれ、獨協大学外国語学部卒、筑波大学大学院地域研究研究科修士課程修了。システムエンジニアとしてキャリアを積んだ後、米Babson CollegeにてMBAを取得。その後外資系コンサルティングファーム、国内ベンチャー企業などで活動。著書に『FinTechが変える! 金融×テクノロジーが生み出す新たなビジネス』（朝日新聞出版）、『IoTビジネスモデル革命』（朝日新聞出版）、訳書に『テトリス・エフェクト 世界を惑わせたゲーム』（ダン・アッカーマン著、白揚社）、『シンギュラリティ大学が教える 飛躍する方法』（サリム・イスマイル著、日経BP社）など多数。