ChatGPTで“ググる”は死語になる？ AI研究者の松尾 豊氏が予測する未来（1/2 ページ）

最近各所で話題を集めるChatGPT。今後、これが進化していくことで生活やビジネスにどのような変化を巻き起こすのだろうか。AI研究の第一人者である松尾 豊氏が“ChatGPTという現象”を分析した。

[田渕聖人，ITmedia]

　OpenAIが提供する対話型AI（人工知能）のWebサービス「ChatGPT」が大きな話題を集めている。多くのユーザーがSNSなどでユースケースを公開していることから、その盛り上がりがうかがえるだろう。先日、同サービスのAPIが提供されたこともあり、今後企業の間でChatGPTのビジネス利用が拡大するものとみられる。

　日本ディープラーニング協会（JDLA）は2023年3月9日、「JDLA緊急企画！『生成AIの衝撃』〜ChatGPTで世界はどう変わるのか？〜」と題したオンラインセミナーを開催した。本稿は、同イベントにおける松尾 豊氏（日本ディープラーニング協会理事長/東京大学大学院工学系研究科教授）の講演「いま何が起きているのか？」をレポートする。

　AI研究の第一人者である松尾氏は“ChatGPTという現象”をどのようにとらえたのか。

加速するAI開発競争　自然言語処理はどのように発展したか

　松尾氏はChatGPTの話題に入る前に、深層学習（ディープラーニング）の進化について解説した。ディープラーニングとは、AI活用の中でも脳の神経細胞の動きを模したニューラルネットワークを利用するML（機械学習）の手法だ。

ディープラーニングの概要。重み付けを調整することで望んだ出力が出せるように訓練する（出典：松尾氏の発表資料）

　ディープラーニングは2012年に画像認識で大きなブレークスルーを迎え、2015年には画像と音声の分野で人間を超える精度を達成した。自然言語処理の分野では2018年ごろから急速に性能が向上している。

　この成長の鍵を握った深層学習モデルが「トランスフォーマー」（Transformer）だ。トランスフォーマーは「セルフアテンション」（Self-Attention：自己注意機構）という文中のどの単語に注目すべきかを決定する機構を搭載したことで、文章の意味を正確に理解できるようになった。また、文章中の次に来る単語を予測することを繰り返すという事前学習「自己教師あり学習」で、ターゲットタスクの精度を向上させた。

松尾 豊氏

　そしてトランスフォーマー以降、これを性能面で上回る深層学習モデルが次々と登場している。松尾氏によると、深層学習モデルにおいては「スケーリングロー」（Scaling Law）という、モデルのパラメータ数に応じて性能も向上する法則がある。

　「2017年や2019年に登場した深層学習モデルのパラメータ数は3億4000万程度でしたが、『ChatGPT』に使われている2020年に登場した言語モデル『GPT-3』のパラメータ数は1750億です。このようにスケーリングローが広まって以降、大規模なパラメータ数を持つ深層学習モデルを作る戦いが始まっています」（松尾氏）

大規模なパラメータ数を持つ深層学習モデルを作る戦いが始まった（出典：松尾氏の発表資料）

ChatGPTはなぜ“優秀”なのか？　その中身に迫る

　そんな大規模なパラメータ数を持つ深層学習モデルを作る競争のさなかに登場したのがChatGPTだ。GPT-3（および後継のGPT-3.5）を利用していることから高性能であることはあらかじめ分かっていたが、これが普及するスピードは松尾氏の予想を大きく上回るものだったという。

　「ChatGPTが2022年11月にリリースされてから、わずか1週間で100万ユーザー、2カ月で1億ユーザーに到達しており、『Facebook』や『Instagram』『TikTok』をしのぐ速度で普及しています」（松尾氏）

　ではなぜここまでChatGPTが普及しているのか。松尾氏はその要因として従来の大規模言語モデルよりも高度な意味理解と会話（チャット）が可能である点を挙げる。「『日本全体にイノベーションをもたらすにはどうすればいいですか』とChatGPTに質問すると、『政府がより効果的な政策を推進する』や『教育システムを改革する企業が研究開発に統治する』といった的確な回答を生成します。さらに会話ならではの砕けた表現も意味を理解できますし、前後の文脈を踏まえて会話できるのも特徴です」（松尾氏）。

　松尾氏によると、ChatGPTがこうした高精度な回答を生成できる理由はその学習方法にある。

　ChatGPTの学習は3つのステップで構成されており、ステップ1「教師あり学習」では特定の問いに対して特定の答えを返すよう教え、ステップ2「報酬モデルの学習」ではステップ1を経て作成したモデルで実際に対話をし、その対話がいい対話だったのか、悪い対話だったのかを評価する。ユーザーに対して非常に攻撃的な発言や差別的発言をする場合は悪い対話として評価するといった具合だ。これを繰り返すことでChatGPTは会話の良しあしを学習する。最後のステップ3「強化学習」では報酬モデルを基に、どういう行動（会話）をすれば報酬が最大化されるかを考えて、探索しながら学習する。

ChatGPTの学習方法（出典：松尾氏の発表資料）