清水亮の「世界を変えるAI」

百花繚乱の大規模言語モデル　その現状まとめ【2023年4月末版】（2/3 ページ）

　特に注意すべきは、アーキテクチャとデータセットの組み合わせだ。

　大規模言語モデルは、基本的にはアーキテクチャとデータセットを組み合わせたものである。ほとんどの大規模言語モデルはTransformerなので、差が出るとすれば、パラメータ数と学習に用いたデータセットになる。

　RWKV（ルワクフと読むらしい）は、この表の中では唯一、独自のRNNベースのアーキテクチャをもっており、Transformerに比べると高速でしかも高価なVRAMを必要としないため、コミュニティが活発で期待されているものの1つである。

　RWKVにAlpaca Datasetを学習させたRavenは中でも活発に学習されており、毎週のようにバージョンアップされている。

　VicunaはWebGPUで動作するバージョンも公開されており、このバージョンのVicunaはWebGPU対応のブラウザがあればローカルで（つまり手元のPCで）動作する。要はNVIDIAの高価なGPUが不要になるわけで、このインパクトはすごい。

　いまのところWebGPU対応ブラウザは多くないが、MacならChromeの開発者版であるChrome Canaryで試すことができる。

　限定的ではあるが日本語も使えるし、GPT-4ほどではないが、英語ならGPT-3くらいのことはわずか7B（70億パラメータ）でもできそうな雰囲気がある。

　というか、結局は「AIに何を聞きたいか」という人間側の都合の話という気もする。例えばLLaMAはGPT-3の10分の1程度のパラメータ数である13Bで、ほとんどのベンチマークでGPT-3と同等か、それ以上のスコアを達成したと説明されていた。

　それはLLaMAが単純にGPT-3を上回っているということを意味するわけではなく、ベンチマークが大規模言語モデルの性能を測る上であまり意味をなさなくなってきていると考えるべきだろう。

　例えばGPT-3とGPT-4を比べると、明らかにGPT-4の方が「高度な結果」を返して来るのだが、具体的に何がどのように高度なのか、定量的に説明するのが難しい。

　日本ではGPTを大学のレポートに使うことの是非が問われるが、そもそもGPTをはじめとした言語モデルの出力の良し悪しを判断することが、もはや人間にも機械にも難しくなってきているのだ。

清水亮の「世界を変えるAI」

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  なぜ人々は、ChatGPTという“トリック"に振り回されるのか？　Google「Bard」参戦、チャットAI戦争の行方

• 

  仕事で使うGPT-4実践テクニック　実際に「AIアートグランプリ」の事務局で使ってみた

• 

  AIで好きなポーズを出すために、モデルを10万枚撮影して手動でタグ付けしてみた

• 

  日本を画像生成AIで再現する　「自分の見た景色」を学習したAIは強力な思い出再生装置に

• 

  まさに「世界変革」──この2カ月で画像生成AIに何が起きたのか？