百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】：清水亮の「世界を変えるAI」（3/3 ページ）

[清水 亮，ITmedia]

トークン数の増加で長期記憶をもたせる

　また、現状公開されている大規模言語モデルには全く別の問題点もある。それは、同時に扱える「トークン数」が極端に少ないということだ。

　大規模言語モデルは、入力された文字列を内部で「トークン」という単位に区切る。英語の場合、トークンは一単語として扱われることが多いが、日本語など、非英語圏の言語では一文字の情報量が多いので一文字が複数トークンに分割されることが多い。その結果、GPTを使う時などは英語を使った方がより「良い」結果が得られるように思える。

　GPT-3が扱えるトークン数は4096程度であり、GPT-4になっても普通に使えるのは8192トークン。日本語の文字数にしてトークンは3分の2くらいと考えられるので、大体、GPT-3で3000字程度、GPT-4で6000字程度ということになる。本一冊が大体10万字であるため、GPTは本一冊分の情報を整合性を保って認識することが通常では不可能である。

　そこで最近注目を浴びているのが、AutoGPTやBabyAGI、それらを扱うLangChainなどの、「大規模言語モデルに長期記憶を持たせる」仕組みの構築だ。

　原理としては、大規模言語モデルの出力をいったんファイルやデータベースに保存し、その情報を見ながらより複雑な指示に答える、というものである。

　AgentGPTも最近日本語に対応したので、プログラミングができない人でも手軽にこうしたモデルを試すことができるようになった。

大規模言語モデルに長期記憶を持たせる仕組みを備えたAgentGPT

　しかし、これは完璧な解決策とはほど遠く、その場しのぎのものに筆者には見える。

　というのも、GPT-4は3万2000トークンに拡張されることがアナウンスされているし、RWKVはRNNなので原理上は長期記憶も持っている。

　また、新しく注目を浴びているアーキテクチャであるHyenaは1万トークン以上の処理を可能にする上に、Transformerに対してトークン数が増えれば増えるほど高速という性能をウリにしている。

　さらに、最近発表されたリカレントメモリートランスフォーマーという方式では、Transformerで100万トークンを扱えるようになったと主張している。

リカレントメモリートランスフォーマーは100万トークンを扱える（2023 Bulatov et al.）

　こうなると、AutoGPTが回避しようとしている「トークン数の制限」は、ほとんど無意味になるように見える。しかし「長いトークン」に配慮した結果、どれだけ全体の整合性を保てるのかは全くの未知数であるため、判断は保留したい。

　100万トークンといえば、小説でも10巻以上に相当し、人間の著者でも完璧な整合性を維持できるとは言い難い。それが果たして本当に矛盾なく意味を維持できるか（そしてそれを人間または機械はどうやって確認するのか）は、そもそもそんなデータセット自体を人間が持っていない可能性がある。要は一人の人間が100万トークンもの矛盾しない文章を書いた例がほとんどないという問題にぶち当たる。

　筆者はよくGPTをはじめとする言語モデルを「人間社会の鏡のようなもの」と説明する。りんごをどれだけ美しく鏡に映そうとしても、それが蝶になることは永遠にないのと同じように、人間がどれだけ自分たちより賢い（またはそう見える）機械を作ろうと奮闘しても、人間より賢くなることはあり得ないのかもしれない。

筆者プロフィール：清水 亮

新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。2005年、IPA（情報処理推進機構）より「天才プログラマー／スーパークリエイタ」として認定。株式会社ゼルペム所属AIスペシャリスト。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。