GPT-4やLlama 2の透明性をスタンフォード大HAIが評価　トップはMetaでOpenAIは3位

公開 2023年10月19日 09時46分

更新 2024年04月02日 11時04分

[ITmedia]

印刷する

　米スタンフォード大学Human-Centered AI Institute（HAI）は10月18日（現地時間）、AIの基盤モデルを公開している10社の透明性を評価するスコアリングシステム「Foundation Model Transparency Index」（FMTI）を公開した。

　基盤モデルとは一般に、教師なし学習で大量の生データでトレーニングされたAIニューラルネットワークを指す。例えば米OpenAIのGPT-4や、米Googleの「PaLM 2」などで、それぞれChatGPTやBardを介して一般人も利用している。

　HAIの基盤モデル研究センター（CRFM）のリシ・ボンマサニ氏は、基盤モデル分野の企業の透明性が低下していると警鐘を鳴らし、FMTIは透明性評価のために設計したと語った。

　システムは、基盤モデルの構築方法、機能方法、ユーザーにどのような形で使われるかなど、透明性に関する100の側面を評価する。

　評価対象はMetaなど10社。このうち9社はAIによってもたらされるリスクを管理する意向を米連邦政府に約束している。

　評価の結果、透明性が最も高いのは米MetaのLlama 2でスコアは54％、2位はオープンなワークショップBigScienceのBLOOMZで53％。OpenAIのCPT-4は3位（48％）、GoogleのPaLM 2は5位（40％）、米AnthropicのClaude 2は6位（36％）だった。最下位は米AmazonのTitan Textで12％。

FMTIランキング（画像：CRFM）

　インデックスの内訳は、トレーニグデータなど基盤モデルの構築方法に関連するものが3分の1、モデルの機能、信頼性、リスクなど、モデル自体に関するものが3分の1、モデルの配布、ユーザーデータ保護、モデルの動作に関する企業ポリシーの開示、影響を受ける個人によるフィードバックや救済の機会を企業が提供するかどうかなどに関するものが3分の1。