米Bloomberg、金融特化の大規模言語モデル「BloombergGPT」発表 「Appleの時価総額を教えて」などに回答：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　米Bloombergと米ジョンズ・ホプキンズ大学に所属する研究者らが発表した論文「BloombergGPT: A Large Language Model for Finance」は、幅広い金融データで学習させた500億のパラメータの大規模言語モデル（LLM）を提案した研究発表である。

　このモデルで、例えば「Appleの直近の価格と時価総額を教えてください」と入力すると簡潔に教えてくれるなど金融データの情報を容易に取得したり、金融情報の疑問を聞いたりなど、専門性に特化した多様な使い方ができる。

BloombergGPTを使用した入出力の事例

　金融データ会社である米Bloombergのデータアナリストは、40年以上にわたって金融の文書を収集・管理してきた。チームは、この膨大な金融データのアーカイブによる英語の金融文書からなる3630億トークンデータセットを作成した。

　このデータに3450億トークンの一般的な公開データセットを加え、7000億トークンを超える大規模な学習用コーパスを作成した。この学習コーパスの一部を用い、500億パラメータのデコーダーのみの言語モデルをトレーニングした。

　BloombergGPTは、汎用的なLLMやドメインに特化したデータのみを使用した小規模なLLMを構築するのではなく、金融データと汎用データセットの両方を組み合わせた混合アプローチを採用する。　

　得られたモデルは、既存の金融に特化した自然言語処理（NLP）ベンチマーク、Bloomberg社内のベンチマーク群、一般的なベンチマークの幅広いカテゴリーの汎用NLPタスクで検証した。

　その結果、混合学習アプローチは、一般的なNLPベンチマークで同等かそれ以上でありながら、ドメイン内の金融タスクで既存のモデルを大幅に上回るモデルを達成した。

金融に特化したタスクと汎用的なタスクのパフォーマンス

　BloombergGPTは、ブルームバーグの顧客により良いサービスを提供する。例えば、金融ニュースや情報を解析するための質疑に細かく教えてくれるという。今後もBloombergGPTを用いた金融アプリケーションの開発を続け、モデルの利点をさらに追求していきたいとしている。

金融ニュースのヘッドラインを出力した事例

BloombergGPT、GPT-NeoX、FLAN-T5-XXLの3つのモデルにおいて、企業のCEOの名前を聞いたときの出力結果

Source and Image Credits: Shijie Wu,Ozan Irsoy,Steven Lu,Vadim Dabravolski,Mark Dredze,Sebastian Gehrmann,Prabhanjan Kambadur,David Rosenberg,Gideon Mann. “BloombergGPT: A Large Language Model for Finance.”（2023）.