メディア

ゲーム攻略だけではない　深層強化学習を使ってビルの揺れを抑えるAI技術の可能性（2/3 ページ）

» 2019年10月18日 13時18分公開

深層強化学習で線形式を超える

　今回Laboro.AIでは、ビルの揺れをシミュレートする環境を作り、どのように重りを動かしたら揺れを早期に打ち消せるかを、深層強化学習を使って学ばせた。

　「囲碁では、AlphaGoに初めはランダムに打たせて、たまたま勝ちにつながる良い手を打ったときは、そういう行動を強調するような信号を与え、負けたときは抑制するような信号を与え、経験を積んで最適な行動を学んでいく。同じように、ビルの揺れをシミュレートする環境を作って、初めはランダムに重りを動かす。より揺れを抑えられたらプラスの報酬シグナルを与えて、揺れが大きくなってしまったらマイナスの報酬を与えて学習させる」（椎橋氏）

　この学習を約2万回、シミュレーション環境で行ったところ、学習曲線が最適化され、1秒ほどで揺れを抑える動きを習得した。

2万回ほどのエピソード（試行回数）で、学習曲線が最適化された

　この学習結果を使い、実際の橋を使った環境で重りの動きを制御させたところ。従来の数式に基づいたアルゴリズムで重りを制御するよりも、揺れを抑えることに成功した。

大林組の技術研究所内に設けられた橋（左）と揺れを制御するために動かす重り（マスダンパー）（右）

●深層強化学習を応用する難しさは報酬設計

すべてのAI活用に共通する原則とは何か？　トロント大学AI権威アジェイ・アグラワル教授
AIとは何かを技術者に聞けばディープラーニングの概念図を示すだろう。しかしエコノミストに聞けば、コストの指数関数的な低下を示すグラフを見せるだろう。AIをビジネスに活用する場合、AIの利用コストが継続的に低下し続けること、そしてAIとは本質的に何なのかを理解することが重要だ。
資産運用で挫折しそうなときに“激励”　AIが読み取るユーザーの心理とは？
資産運用の王道は、長期・分散・積立だが、この「長期」が難しい。相場が下がれば不安になるし、上がれば利益を確定したくなるのが人の心理だからだ。長期投資できないという資産運用の最大の落とし穴を、AIがサポートする研究をウェルスナビが東大松尾研究室と進めている。
JR赤羽駅のAI無人店舗を体験してみた
店舗で品物を取って出口に向かうと、自動で支払額が計算され、Suicaをタッチすれば支払いが終わる。そんな店舗が、JR赤羽駅にお目見えする。17日から2ヶ月間の実証実験中だ。
表情を読み取る「AIお姉さん」が画面から話しかけてくる
6月末に調布で、モニター画面から話しかけてくる等身大のAI（人工知能）エージェントを街角に置く実証実験が行われる。相手の感情を読み取り、自分の表情も変化させながら自律的に会話するAIエージェントは、世界的に見ても新しい。ゲームAIの技術と機械学習に基づくAIの技術を組み合わせた。
人間対AI「囲碁電王戦」再び　趙名誉名人と「DeepZenGo」が真剣勝負
ドワンゴが「第2回囲碁電王戦」を11月19日から開催。囲碁AI「DeepZenGo」とプロ棋士の趙治勲名誉名人が、ハンディなしの真剣勝負を行う。