産総研のスパコンで“大規模強化学習” なぜいま「囲碁AI」開発で世界一を目指すのか？（1/2 ページ）

日本発の囲碁AIで世界一を目指すプロジェクトが4月18日に発表された。AIが人間のトップ棋士を超える実力を持って久しいが、なぜいまこのような挑戦をするのだろうか。

[村上万純，ITmedia]

　世界最強の囲碁AI（人工知能）を開発し、若手棋士の育成にも役立てようというプロジェクト「GLOBISーAQZ」が、4月18日に発表された。

「GLOBISーAQZ」プロジェクトのメンバー

　Alphabet傘下のDeepMindが開発した囲碁AI「AlphaGo」が次々と世界トップ棋士を破るなど、既にAIの実力は人間を圧倒しているといえる。なぜそのような状況で、わざわざ国産の最強囲碁AIを開発するのか。また、中国テンセントの「絶芸」や、米Facebookの「ELF OpenGo」、ベルギー発の「LeelaZero」など、世界トップレベルの囲碁AIに匹敵するようなものが開発できるのだろうか。

「これまでと全く違う手法で開発する」　産総研のスパコンを活用

　ビジネススクールを展開するグロービス、囲碁AI「AQ」開発者の山口祐さん、日本のプロ棋士を統括する団体の日本棋院、囲碁AI「Raynz」を開発したベンチャー企業のトリプルアイズによる4者共同のプロジェクト。18日に開催された発表会で、山口さんがGLOBISーAQZの全体像について説明した。

プロジェクトの全体像

囲碁AI「AQ」開発者の山口祐さん

　「AlphaGoは1つのエージェントで強化学習するものでしたが、本プロジェクトではマルチエージェントによる強化学習など、いろいろな学習方法を取り入れながら学習の効率化を図っていきます」と山口さんは説明する。

　米Blizzard Entertainmentのリアルタイムストラテジー（RTS）ゲーム「スタークラフト2」のプロゲーマーに完勝した、DeepMindの「AlphaStar」もマルチエージェントによる強化学習を行っていた。独立した複数のエージェントを競合させ、より強いエージェントを残していく手法だ。山口さんによると、世界でもマルチエージェント学習を採用した囲碁AIはまだなく、差別化するポイントの1つになるという。

システム構成

　強化学習（reinforcement learning）は、与えられた環境における価値を最大化するようにエージェントを学習させる機械学習のいち手法。またAlphaGoは、行動の選択に「モンテカルロ木探索（MCTS）」と呼ばれる検索アルゴリズムを使う。

　囲碁の強化学習には大規模な計算リソースが必要で、山口さんは「AlphaGoを普通のPC1台で再現しようとすると3000年以上かかります」と苦笑する。

　大規模演算には、産業技術総合研究所（産総研）のスパコン「ABCI」のリソースを活用する。ABCIは産総研が構築・運用する世界最大規模のAI処理向け計算インフラで、AI処理に適した半精度浮動小数点演算性能が550PFLOPS（ペタフロップス）、倍精度浮動小数点演算性能が37PFLOPSで、実運用される計算システムとしては国内最高性能を記録。「ABCIの一部ではありますが、数百台以上のGPUサーバを専有して使えるので、計算資源という意味では世界に負けていないと考えています」（山口さん）

計算環境

　トリプルアイズは強化学習におけるレーティング（強さの数値化）の計測とグラフによる可視化をし、グロービスは大規模演算のためのインフラ構築と最適化を担うなど、分業して開発する。

　今年2月から学習システムの開発に着手し、4月から囲碁初心者が使う「9路盤」で実験を始めた。5月以降にプロ棋士の対局で使われる「19路盤」での本学習を行う。目標は、8月に中国・山東省で開催される「2019 中信証券杯 第3回世界電脳囲碁オープン戦」で優勝することだ。

　現在トップクラスの囲碁AIは、「シチョウ」や「死活」といった特定の手筋（シチュエーション）の読みが苦手とされている。こうしたコンピュータ特有の弱点に対し、山口さんは「AQではシチョウや基本的な手筋などのベースは読めるようになっています。囲碁のドメイン知識を使った方が当然強くなるので積極的に使っていきたいです」と話す。

　「囲碁は非常に魅力的な深層強化学習（強化学習の一手法）の研究対象です。プロジェクトを通して囲碁の本質に少しでも迫れればと思いますし、若手棋士の育成にも貢献できればこれ以上ない喜びです」（山口さん）

　では、若手棋士の育成にはどう役立てていくのだろうか。