主要各社のLLM、EUのAI規制に違反の恐れ──評価テストで低スコア
複数の代表的な大規模言語モデル(LLM)が、EUが策定した世界初の包括的なAI規制「AI法」(EU AI Act)で求められる重要項目の基準を下回っているかもしれないことが分かった。ロイターが閲覧したデータによると、サイバーセキュリティに関する耐性や、差別や偏見を排した回答といった項目で低評価がついた。
評価は、スイスのスタートアップ企業LatticeFlowが中心となり、EUの支援を受けて実施。今後2年間に段階的に施行されるAI法の規定に基づき、数十の項目で生成AIを評価するツール「大規模言語モデル(LLM)チェッカー」を開発した。
LatticeFlowが10月16日に公表したデータでは、中国Alibaba、米Anthropic、米OpenAI、米Meta、仏Mistral AIなどが開発した生成AIの平均スコアは0.75以上だった(最低はゼロ、最高は1)。ただし、セキュリティなどのAI法の重要な項目のいくつかで基準に届いていなかったという。コンプライアンス違反と判定された場合、3500万ユーロ(3800万ドル)または全世界の年間売上高の7%の制裁金を科される。
生成AIモデルの開発で課題とされる、性別や人種などで差別や偏見のない回答をするか、という評価テストでは、OpenAIのGPT-3.5 Turboが0.46、Alibabaの「Qwen1.5 72B Chat」は0.37だった。
ハッカーが悪意のあるプロンプトを駆使する「プロンプト・ハイジャック」と呼ばれる一種のサイバー攻撃に関するテストでは、Metaの「Llama 2 13B Chat」が0.42、Mistral AIの「8x7B Instruct」が0.38だった。
平均スコアが最も高かったのはAnthropicの「Claude 3 Opus」で0.89だった。
LatticeFlowによると、LLMチェッカーは開発者がコンプライアンスをチェックできるよう、オンラインで自由に利用できるようにする予定。
同社のペタル・ツァンコフCEOはロイターにテスト結果は全体的に良好と述べた。EUがコンプライアンス・ベンチマークを策定中だが、すでに基準未達の項目が見られると指摘し「AI開発各社はコンプライアンスの最適化に重点を置くことで、規制要件を満たす準備を整えられる」と述べた。
欧州委員会の報道官は「欧州委員会は、AI法を技術的要件に変換する第一歩として、この研究とAIモデル評価プラットフォームを歓迎する」と述べた。
Copyright © Thomson Reuters
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「GPT-6.2 Astra/Sol」登場 前世代超える性能を「コスト1/3で実現」 Ultrafast提供も拡大
-
2
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
3
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
4
大手自動車メーカーの検図工数を90%削減 AIが図面の重要な変更点を判別
-
5
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
6
NTTが宇宙光通信網の構築へ 「IOWN搭載」衛星と宇宙データセンターで米中に挑む
-
7
「回答するAI」から「現実の課題を解決するAI」へ、ダッソーが掲げる産業AI戦略
-
8
規制の厳しい業界でAIエージェントをどう導入する? MicrosoftとIBMが発表した基盤「3つの特徴」
-
9
ガートナーが考えるフィジカルAI実装のロードマップと人の役割
-
10
【Pythonで学ぶデータ分析】重回帰分析のモデル比較をベイズ統計で行う ~ 株価の予測にはどの指標が効くのか?
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR