日経、大規模言語モデル「NiLM」を開発　約40年分の記事データのみ学習、経済領域に特化

» 2024年04月24日 12時39分公開

　日本経済新聞社は4月24日、経済情報に特化した大規模言語モデル「NIKKEI Language Model」（NiLM、にるむ）を開発したと発表した。約40年分の日本経済新聞などの記事のみを学習したAIモデル。130億と700億パラメータの2つのモデルを開発したという。

日本経済新聞社が経済特化の大規模言語モデルを開発

　NiLMの学習には、ネット上の公開情報は利用していない。約40年分の日本経済新聞の記事や、日経産業新聞と日経MJ、日経ヴェリタス、NIKKEI Primeなどの専門媒体、日経BPの各媒体から同社が著作権と使用権を持つ記事だけを学習に使ったとしている。

　130億パラメータのモデルは、一般公開されているモデルは使わず、独自にモデルを構築。700億パラメータのモデルは、米Metaの「Llama 2」の700億パラメータモデルと、Llama 3の80億パラメータのモデルなどをベースに開発した。学習に使った日本語コーパスのトークン量は約1兆に達したという。

　同社は「汎用的な大規模言語モデルには最新のデータが反映されていないことや、学習データに起因するハルシネーション（AIがもっともらしいうそをつく現象）、さまざまなメディアのデータが許諾なく使われている可能性が高いという倫理的な課題がある」と指摘している。

　今回開発した大規模言語モデルを記事執筆に直接利用するかは言及していないが、社内向けAIツールの研究開発に利用していく方針。また、今後も自社のデータを使い、経済領域に特化した大規模言語モデルの開発を続けていくとしている。

Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に
Metaは、オープンソースのLLM最新版「Llama 3」をパラメータ80億と700億の2モデルで公開した。AWSやAzure、Google Coudなどで利用可能になる。誤った拒否率が大幅に減少したとしている。
イーロン・マスク氏のLLM「Grok」、1.5更新で画像認識可能に
イーロン・マスク氏のAI企業xAIは、独自のLLM「Grok」の「1.5V」版を発表した。画像認識のマルチモーダルになった。画像認識のベンチマークで「GPT-4V」、「Claude 3 Opus」、「Gemini Pro 1.5」を上回ったとしている。
楽天グループが大規模言語モデルを公開　Mistralベースの70億パラメータ　商用利用も可能
楽天グループは、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ企業のMistral AIのLLM「Mistral-7B-v0.1」を基盤に開発した70億パラメータのLLM。商用利用も可能。
生成AIに“アスキーアート”入りプロンプト入力→有害コンテンツ出力　米研究者らが新手の脱獄法発見
米ワシントン大学などに所属する研究者らは、大規模言語モデル（LLM）がアスキーアートを正しく認識できないという脆弱性を利用して、LLMに有害なコンテンツを出力させる新しいジェイルブレーク（脱獄）攻撃を提案した研究報告を発表した。
年末年始にLLMの勉強はいかが？　東大松尾研、大規模言語モデルの講座資料を無料公開
東京大学松尾研究室は、大規模言語モデル（LLM）の講義資料を無償公開した。同研究室が9～10月に実施した「東京大学サマースクール　大規模言語モデル講座」で使用したもの。