生成AIでGPUがいらなくなる？　業界を揺るがす「1ビットLLM」とは何か、識者に聞いた（1/3 ページ）

公開 2024年04月16日 10時02分

更新 2024年04月17日 10時15分

[ITmedia]

印刷する

　米Microsoftの研究チームが発表した「BitNet」、通称「1bit LLM」と呼ばれる論文が波紋を呼んでいる。これまでのLLMとは違い、演算が軽くなるのに精度が上がり、そしてこれまで必須だと思われていたGPUが不要で、CPUでもLLMが動作することを示唆している。

Laboro.ai代表取締役CEOの椎橋徹夫氏

　ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。

プロフィール：椎橋徹夫

米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。

──まず、1bit LLMについて教えてください

椎橋：1bit LLMについてできるだけ分かりやすく解説しましょう。ChatGPTに代表される生成AIは、LLM、つまり大規模言語モデルです。何が大規模かというと、ニューラルネットがものすごく大きくてパラメータがたくさんあります。大規模にすることがブレークスルーの根源だったんです。

　でも大規模にすると、使うときに計算コストや時間がかかるようになり、消費エネルギーについても課題視されています。またモデルをメモリに乗せて使うので、たくさんパラメーターがあると容量も大きくなってしまいます。学習のときも、推論、つまり使うときもモデルが大きいと、計算量とメモリが大量に必要になります。

　これに対して、モデルを圧縮する技術は昔からいろいろあります。2020年に「ディープラーニングを軽量化する『モデル圧縮』3手法」というエンジニア記事を載せたこともあります。小さくしても同じ性能、小さくしても少ししか性能が悪化しないようにする取り組みは、LLM以前からあったんです。

　モデル圧縮は大きく分けて3つの方法があります。

　1つ目は枝刈りです。ニューラルネットはニューロンがたくさん重なっていますが、多層のニューロンがあったとき、計算にあまり効いていない、貢献していないノードが、最終的なモデルを見るとあるんです。それは取り払ってもあまり精度が変わらない。プルーニング、つまり枝刈りですね。これを行うとパラメータが減るので軽くなります。

　2つ目は蒸留です。大きいモデルで学習して、そのモデルを使って学習データを生成して、小さいモデルで学習するんです。もう少し説明すると、例えば犬か猫か判定するとき、人間が作った訓練データは100％犬か100％猫かのどちらかのラベルが付いています。0か1かが教師ラベルとなる学習データですね。

　これを大きいモデルで学習すると、最後に犬か猫と判断する前の段階では60％で犬、40％で猫という確率で表現しているんです。その大きいモデルが出力した60％犬、40％猫という値を教師データとして小さいモデルで学習すると、どれくらい犬っぽいか、どれくらい猫っぽいかという中間的な情報になります。そうすると、小さいモデルでも同じような性能が出せるようになるんです。最初から小さいパラメータのモデルを学習させるわけですね。

　3つ目が量子化です。これが1bit LLMに関係します。1つ目と2つ目はパラメータの数を減らす方法でした。量子化は、1個1個のパラメータをどういう数字で持っているかというところに注目します。普通は1つのパラメータは16bitとか32bitの情報量を持っているんですが、この桁数をぐっと丸めてしまうんです。

　例えば、0.34567という値だったら、0.35と丸めるわけです。LLMの領域では、最近は32bitや16bitから、8bitや4bitといった低bit化がトレンドになってきていますが、それをさらに1bitまで減らしてしまおうというのが1bit LLMの考え方です。

次ページへ 1ビットLLMにすると何が変わる？