チャットAI「StableLM」発表 オープンソースモデルで商用可 「Stable Diffusion」開発元から

[井上輝一，ITmedia]

　英Stability AIは4月19日（英国時間）、オープンソースの大規模言語モデル「StableLM」を発表した。α版として30億と70億パラメータの2モデルを公開。今後150億パラメータから650億パラメータのモデルも公開予定としている。ライセンスはCC BY-SA-4.0で、商用や研究目的で自由に利用できるとしている。

英Stability AIの発表ページ　イラストは「Stable Diffusion XL」で描かれている

　現状で対応しているのは英語のみ。できることとしてはチャット、フォーマルな文書作成、創作、プログラミングコードの提示などを例に挙げている。

　サービスではなくローカルで実行可能なモデルとして公開しているが、AI関連のコミュニティーWebサイト「HuggingFace」上でチャットを試すこともできる。

　ローカル実行環境の要件について言及は見つからないが、米Googleの機械学習向けクラウド実行環境「Google Colaboratory」で実行できるサンプルも用意されていることから、個人で用意できる程度のローカル環境でも実行はできそうだ。

70億パラメータのモデルが公開されている「HuggingFace」のページ　右側の「Hosted inference API」からお試し可能

　また、他の大規模言語モデル（Alpaca、GPT4All、Dolly、ShareGPT、HH）を使ってベースモデルを追加学習させたモデルもあわせて公開。ただし、これらのモデルは研究用のみの用途に限られるライセンスとなることから、追加学習させたモデルについては非営利のCC BY-NC-SA 4.0ライセンスでの公開となる。

ファインチューニングモデルに「生成AIってどう思う？」と聞いてみた。「私は（中略）人工知能です。（中略）生成AIのアイデアを熟考する能力はありません」といった回答に

　今回公開したモデルは、非営利のAI研究組織「EleutherAI」と共同で研究した経験に基づいて開発したものという。共同研究では「GPT-J」「GPT-NeoX」といった大規模言語モデルの他に、大規模言語モデルの分析ツールも手掛けていた。

　GPT-Jなどの訓練には5000億トークンのオープンソースデータセット「The Pile」を使っていたが、今回のStableLMの訓練にはThe Pileをベースにしつつもその3倍となる1.5兆トークンの新たなデータセットを使用。これにより、パラメータが30億や70億という比較的小さなサイズ（米OpenAIのGPT-3は1750億）にもかかわらず高い性能を発揮するとしている。今後、650億パラメータまでのモデルを公開すべく作業中としているが、計画には1750億パラメータのモデルも挙がっている。

　なお、人間のテストや機械学習向けのベンチマークでの性能比較の結果は公開していない。同社は近く、完全な技術レポートを公開するとしている。