AIプロ集団から見た「ChatGPTの歴史」 たった5年で何が起こったのか（1/2 ページ）

[谷井将人，ITmedia]

　IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。

　そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。

GAFAMが続々アプローチ　IT業界が一瞬でAIカラーに染まる

　ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さらに数十億ドルの追加出資を発表。自社製品に組み込むなど積極的に活用を進めている。

　これに追従し、米Googleも大規模言語AI「PaLM」を発表。こちらも自社製品への組み込みを進めていく方針を示している。米AmazonはAI開発分野のプラットフォームとして定着した「Hugging Face」との提携を発表し、米MetaもAI「LLaMA」を公開するなど、今IT業界で最も注目されている分野であることがうかがえる。

「事前学習」という発明　AIフィーバーの起爆点

　ELYZAの曽根岡侑也CEOによると、大規模言語AIの進化は4段階に分けられるという。

　まずは18年以前だ。当時はまだ大規模言語AIが登場していなかった。人間が87.1点取れるテストでAIは65.6点を取るなど「人間には遠く及ばなかった」（曽根岡CEO）という。社会実装も、あらかじめシナリオが決まっているチャットbotやSNS分析など、精度が出なくても使える範囲でのみ行われていた。

　第1のターニングポイントは18年10月の大規模言語モデルの登場だ。これにより、それまで人間に水をあけられていたAIだったが、急激に精度向上が進み、19年6月には人間の点数を超えるまでになった。

　このころに3つの変化が起きたという。（1）事前学習という発明、（2）Transformerの登場、（3）モデルの大規模化──だ。

　それまでのAIは、少量のデータを学習して一つの機能を実現するものだった。曽根岡CEOによると「これは韓国語が分からないのに、韓国語の入試問題を解かせるようなもの」だったという。

　事前学習は、先に言語の学習をさせてからさまざまな機能の実現に向けたトレーニングをするというもの。事前学習では例えば「ELYZAは○○○○松尾研究室発のAIプロフェッショナル集団です」のように文章の一部を隠して、穴埋め問題を解かせることを繰り返すという。

　2つ目のTransformerは17年に発表されたAIで、高速かつ高精度で汎用性が高いという特徴があった。これをベースに開発することで学習データが少なくても自然な文章を生成できるようになった。ChatGPTのTもTransformerの略だ。

　そして20年1月には「計算コスト、学習データ量、パラメータ数は増えれば増えるほど精度が良くなる法則」（Scaling Law）が見つかった。当たり前のようにも見えるがそれまでは常識ではなかったという。