日本語能力を強化したLLM公開 FLUXの「金融特化型モデル」とは？

[小松恋，ITmedia]

　AI活用戦略のコンサルティングサービスなどを提供するFLUX（東京都港区）は、日本語能力を強化した大規模言語モデル（LLM）である「FLUX Japanese LLM」を公開した。同社によれば、最高水準の日本語性能を有しているという。企業が導入しやすい日本語LLMを拡充し、法人市場でのAI活用拡大を狙う。

日本語能力を強化したLLMを公開

ベンチマークで高スコアを記録　どんな仕組み？

　今回のモデルは、アリババクラウドのAI「Qwen」をベースに、FLUXが開発した「Precise-tuning」という手法を用いて日本語能力を強化した。従来の日本語LLMでは、誰でも自由に利用・カスタマイズできるオープンウェイトモデルを、日本語データセットによってファインチューニング（追加学習）させていた。

　日本語データセットを使うと、LLMの全パラメーターに日本語が流れ込み、本来は英語で学ぶべき領域まで影響が及ぶ。そのため、他分野の能力が低下するケースがあった。

　プリサイズチューニングは、日本語や日英混在の箇所など必要な部分のみ日本語データセットを適用できる。強化したい分野のみで日本語能力を高め、マルチモーダル性能や推論能力はベースモデルのまま維持されるという。

日本語能力強化の手法について

　日本語で知識を強化したい部分を重点的に強化できるため「業界特化型LLMに展開しやすい手法」と同社は説明する。

Precise-tuningの考え方について

　同モデルは、LLM勉強会が作成するオープン日本語LLMリーダーボードのベンチマークで、現行の1位を上回るスコアを獲得した。

オープン日本語LLMリーダーボードによる総合評価点について

　同社は、FLUX Japanese LLMを活用し金融業界に特化したモデルを開発した。320億パラメータと比較的小型でオンプレミス導入も可能なため、コストを抑えつつセキュリティ面でも安全に運用できるという。日本独自の金融業界ガイドラインやQAデータを取り込み、業務利用に耐えうる性能を目指した。

　FLUX Japanese LLMの研究開発を継続し、日本語能力のさらなる強化を図る。複数の業界特化型LLMを構築することで、多様な業界におけるAIトランスフォーメーション推進を目指す。