松尾豊東大教授が明かす 日本企業が「ChatGPTでDX」すべき理由（1/3 ページ）

[河嶌太郎，ITmedia]

　日々進化を続ける、ChatGPTに代表される生成AI。GAFAをはじめ、国内でもソフトバンクやNTTグループ、NECなどの多くの企業が生成AIの開発に参入している。

　中でも生成AIの研究と研究者の育成を最前線で進めるのが、東京大学大学院工学系研究科にある松尾豊研究室だ。人工知能の研究・開発を長年続けており、8月には岸田文雄総理が研究室を訪れた。

　松尾豊教授が理事長を務めるのが、日本ディープラーニング協会（JDLA）だ。JDLAは、生成AI利用の企業向けガイドラインを策定していているほか、G検定やE資格といったAIに関する資格試験を実施している。

　この資格試験の合格者に向けたイベント「CDLE All Hands 2023」に松尾教授が登壇し「生成AIの現状と活用可能性」および「国内外の動きと日本のAI戦略」について講演した際の内容を、前中後編でレポートする。

日本ディープラーニング協会の松尾豊理事長

生成AI以前と以後で何が変わったのか

　講演では、まずAIの歴史を振り返った。AI研究の始まりは1956年にさかのぼる。この年に人工知能（AI）という言葉が誕生し、コンピュータの研究開発と同時にAIの研究開発が進んでいる。その後60年代に第1次AIブーム、80年代にかけて第2次AIブームが起こり、2010年代に第3次AIブームが続いた。

　この第3次AIブームを支えている要因は、GPU （Graphics Processing Unit）の性能の向上や、ディープラーニングの進化だ。「生成AI」には大きく言語と画像の2種類がある。画像を生成するAIのモデルには主にDiffusion Model（拡散モデル）が使われる。一方、言語の場合はトランスフォーマー（深層学習モデル）が使われる場合が多い。

　12年に、ディープラーニングが画像認識の分野で大きなブレークスルーを遂げ、これにより15年前後から顔認証技術や自動運転技術などの応用が一気に進展した。一方の自然言語処理の精度は、18年頃から急激に向上している。

　自然言語処理の生成AIで鍵となったのが、17年にGoogleの研究者らが発表した論文「Attention is All You Need」だ。これにより「トランスフォーマー」と呼ばれる機械学習モデルが確立する。これは「アテンション」という、ニューラルネットワーク中のどこの情報をどのように使うか自体を学習できるもので、「自己注意機構」とも呼ばれる。このトランスフォーマーは「アテンション」を多層に重ね、非常に大量に使うようなモデルだ。言語の処理と非常に相性が良く、精度が大幅に向上した。

　もう一つ重要なのが「自己教師あり学習」だ。これは与えられたデータ自体からAIが事前に学習でき、次の単語の予測に生かせる技術だ。これにより、文が与えられると、途中までの文から次の単語を上げるという繰り返しが可能になった。「自己教師あり学習」は、「Next word predection」や「Next token predection」ともいわれる。

　生成AI以前と以後で何が変わったのか。特徴的なのが、汎用性の高さだ。例えば生成AI以前は、翻訳したいのであれば翻訳のモデルを個別に作っていく作業が必要になった。一方これが大規模言語モデル（LLM）に変わると、大量のデータによって事前学習をさせておけば、翻訳から要約、読解といったタスクに合わせて自動学習するというように変わった。

　翻訳の精度を向上させたければ、翻訳に対して機械学習させるのではなく、事前学習させたデータの集合体ともいえる汎用の大規模言語モデルを巨大にさせれば良いのが特徴だ。これが巨大になればなるほど、翻訳だけでなく、要約や読解の精度なども向上する仕組みだ。このモデルの大きさのことを「パラメータ数」という。

　このパラメータ数さえ増やせば、汎用的な自然言語処理の生成AI技術が向上するようになった反面、大量のデータと計算機が必要になった。つまり、開発に多大なコストがかかるようになったのだ。

　生成AIのパラメータ数は飛躍的に拡大している。例えばGPT-3のパラメータ数は1750億といわれていて、最新のGPT-4になると、2兆に上るとみられている。

　現在国内でも生成AIの開発が進んでいる。そのパラメータ数は数十億〜数百億パラメータ程度のものが多い。既に古い技術として無料で公開されているGPT-3が1750億パラメータ数というのをみると、少なくとも10倍の開きがあり、全く勝負になっていないのだ。

　こうした中、ChatGPTが22年11月30日に登場した。公開から1週間で100万ユーザー、2カ月で1億ユーザーに到達したという。今までのソフトウェアアプリなどの中で最も速いスピードでユーザー数が増え続けている。ChatGPTを活用することで感想文を書いたり、1人2役でディベートができたり、プログラミングできたり、いろんな話題を振って話したりできる。

　ChatGPTでは、GPT-3やGPT-3.5、そしてGPT-4で事前学習させた大量のデータを基に運用していて、ユーザーから得られた情報から事後学習もしている。事後学習には、大きく3つのステップがある。

大規模言語モデルの開発状況