スパコン「富岳」で作るLLM研究の現状　富士通は生成AIビジネスをどう戦うのか（2/2 ページ）

公開 2024年04月26日 12時01分

[ITmedia]

印刷する

なぜ基盤モデルの開発を決めたのか？

　基盤モデルは社会基盤を支える基幹技術であり、これを自社開発できることはテクノロジー企業としての生命線だと考えるためである。

　富士通は世界トップクラスのコンピューティング技術と高いレベルのAI技術を保有しており、基盤モデル開発の必要条件をそろえているが、これは基盤モデルの重要性を早くから予見していたからである。実際、富岳を活用したLLM開発については、ChatGPTが爆発的に普及する前から話が進んでいた。

　機械学習の処理性能を測定するベンチマーク「MLPerf」に対して、富士通と理研の共同プロジェクトである「DL4Fugaku」のチームで取り組んでいる。21年にMLPerf HPCにおいて、富岳で世界一の性能を達成したという実績もあったため、DL4Fugakuのチームに富岳でLLMを学習するにはどうしたらよいかを相談を受けたのがきっかけで、東工大含めてミーティングを開いた。

　その後、深層学習フレームワークの富岳移植や日本語データセットの収集などを行ってきたが、ChatGPTの公開をきっかけにLLMが注目されるようになった。ChatGPTに代表される大規模深層学習モデルのことは基盤モデルと呼ばれ、インターネットやスマートフォンのように社会全体の在り方を変える革新的な技術であると考えられている。

　これからの社会において、研究開発や経済社会、安全保障などのあらゆる側面から期待されているが、一方で基盤モデルの性能を高めるためには大量のデータを効率的に処理する高性能計算資源が不可欠である。日本としても喫緊に取り組まなくてはならない状況の中で、いち早く富岳を活用すべきと考え、富岳上でのLLMの高速化や基盤モデルの実証についての話が加速し、開発に至る。

他社と比較した際、競合有意性はどこにあるのか？

　富岳を活用したLLM開発については、日本語に強いモデルを開発中である。また、LLM 開発には膨大な計算が必要となるが、富岳やABCI（産業技術総合研究所が提供する計算資源）での大規模並列分散学習の経験やノウハウを蓄積しており、高速に学習が行えるスキルを持った人材を保有している。CPUベースのスーパーコンピュータである富岳の活用など既存のLLMの枠に捕らわれない技術的革新に挑み続けている。

　富士通独自のLLMについては、世界最大規模の10億ノードを越える関係性を検証できる富士通独自のナレッジグラフと生成AI、データの確からしさを判別可能にする「Trustable Internet技術」を基盤モデル開発に組み込んでいる。

　これによって、生成AIの課題である出力の不安定性を解消し、大規模かつ複雑な法規制や社内規則に準拠した正確な出力を保証する生成AIトラスト技術の開発も進めている。

　これらの生成AI混合技術や生成AIトラスト技術に加えて、ローカルな環境でセキュアに利用可能なLLMについても、4月から順次、富士通の先端技術を無償で試せる「Fujitsu Research Portal」を通じて提供している。

「Fujitsu Research Portal」

どのようなエコシステムを作っていきたいと考えているか？

　基盤モデル、特にLLMについては、これからの社会基盤を担う基礎技術だと考えている。富士通は基盤モデルについて当初からオープンな技術発展が必要だと考えており、富岳を活用したLLM開発を産学の多くの研究者とともに開始したのはその一環である。

　その成果物のLLMはGitHubや、Hugging Faceを通じて24年度に公開し、成果論文も公表するため、日本に限らず世界の技術発展に貢献することになる。また、産学のオープンなコンソーシアムである「LLM-jp」にも協力し、そこで開発されるLLMにも富岳LLMと同様の富士通の技術が使われている。

　今後も、グローバルな産学連携体制で科学向け生成AI基盤モデルの開発を行う「Trillion Parameter Consortium」（TPC）などグローバルな環境でもオープンなモデル開発に貢献していくことを目指す。

　富士通はこのようなオープンな基盤モデル開発を促進することと連動して、その基盤モデルを用いて、クライアントとともに彼らの自社データを活用して、さまざまな業務課題を解決する共創型のソリューションとしての特化型生成AIを提供している。

　オープンで培った技術を業務課題を解決するビジネスの形で社会に還元し、さらなるオープンな技術発展に貢献していく、という循環発展型のエコシステムが富士通の狙うところである。