「GPTｰ4」より高い評価を受けたLLMは？ 2024年に生成AI活用で注意すべきポイント：CIO Dive

ChatGPTが一般公開されてから1年以上たち、企業はAIをワークフローに組み込もうと躍起になっているが、問題は山積している。各種調査の結果から、生成AIを活用する上で注意すべきポイントを探る。

[Lindsey Wilkinson，CIO Dive]

　2022年11月に一般公開された「ChatGPT」は、企業向けテック業界に旋風を巻き起こした。技術の導入競争は数カ月に及び、導入が進むにつれて世界の規制当局の注目を集めた。

　生成AIの潜在的な可能性について企業の理解が進むと、状況は劇的に変化した。大手通信事業者であるSoftBankのデータによると、ほとんどのCTO（最高技術責任者）が生成AI（人工知能）を理由にプロダクトロードマップを変更し、約3分の1が戦略を調整した（注1）。さらに技術リーダーの5人中2人は生成AIをより活用するために人材の優先順位を変更したという。

スタンフォード大学らが発表　「GPTｰ4超え」のLLMはこれだ

　しかし、CIO（最高情報責任者）が生成AIの試験運用を進める中で、コストや著作権、データ保護に関する問題が浮上した。AIシステムを取り巻く透明性もまた世論をにぎわせた。

　それでも企業は生成AIの恩恵を受けようと取り組みを進めてきた。世界4大会計事務所の一つであるPricewaterhouseCoopers（PwC）の調査によると、経営幹部の半数以上が「自社に生成AIを一定程度導入している」と答えた（注2）。

　生成AIとその原動力となるLLM（大規模言語モデル）が企業の技術スタックによって一般的に取り入れられるようになった今でも、CIOはこれまで同様導入に関する障害に直面している。2024年もさらに慎重にならなければならないだろう。ITリーダーが戦略や導入計画を推進する際は、「生成AIはこの業務に最適なツールではない」と判断することも必要だ。

　クラウドサービスを提供するRed Hatのエリック・アーランドソン氏（エマージングテクノロジー・シニアプリンシパルソフトウェアエンジニア）によると、企業がワークフローに導入している最も人気のある基盤モデルには大規模なデータセットが必要だ。これはほとんどの企業では構築できない。

　スタンフォード大学やマサチューセッツ工科大学、プリンストン大学の研究者が2023年10月に発表した報告書によると、主要なLLMを開発するトップ10社は、透明性という点でまだ多くの改善が必要だ（注3）。研究者は公開情報を収集し、LLMの構築に使用されたリソースの透明性やモデルに関する詳細、現場でどう使われているかという情報に基づいて各モデルを採点した。

　研究者によると、最も高いスコアを獲得したのはMetaの「Llama 2」で、100点満点中54点だった（注4）。OpenAIのエンタープライズ版ChatGPTを動かす「GPT-4」は48点、Anthropicの「Claude 2」は36点、Amazonの「Titan」は12点で最下位だった（注5）。Amazonによると、Titanはまだプライベートプレビューの段階で一般にはまだ利用できない。

　アーランドソン氏は「技術リーダーはITベンダーとの協力関係には慣れているが、LLMの詳細や制限に関してどのような質問をすべきかについてはそれほど詳しくない」と話す。「われわれはオープンソースの定義やその意味について20年以上にわたって法的知識やライセンスに関する十分な知識を培ってきた。難しいのは、LLMに関する知見がほとんどないということだ」（アーランドソン氏）

「AIのリスク」に対処できている企業は少ない

　生成AIは、たとえ大きなリスクを抱えていても、CIOやさまざまな業界の企業は利益を得ることに"前のめり"であることを示した。

　コンサルティング企業のMcKinseyの子会社で分析を手がけるQuantumBlackが2023年8月に実施した調査によると、大多数の企業が「（AIが抱える）リスクの軽減に取り組んでいない」と回答した（注6）。一方で、リスク軽減に取り組む企業では、適切なポリシーやトレーニングの機会を活用して従業員を指導している（注7）。

　Principal Financial Groupのキャシー・ケイ氏（EVP《Employee Value Proposition：従業員への価値の提案》担当兼CIO）は、「急速に進化する状況をより深く理解し、適切なガイドラインを確実に整備するためにコンプライアンスとサイバーセキュリティの専門家からなるチームを設立した。われわれの責任あるAI運営チームとワーキンググループは、AIに関する方針を着実に洗練させながら、責任あるアイデアの探求と試験運用をサポートし続けている」と話す。このチームは企業のサイバーセキュリティの実践をサポートするために、管理された環境における機能を開発できるよう主要ベンダーと密接に連携している。

　ITベンダーもまた、よりリスクへの意識の高い顧客に対応しなければならなくなった。OpenAIは同社のチャットbotであるエンタープライズ版ChatGPTと同様に、セキュリティガイドラインとプライバシーオプションを追加した（注8）。トレーニングデータと生成された出力に関連する著作権法が注目される中（注9）、MicrosoftとGoogleは、顧客がテック大手の製品やサービスを使用することで法的リスクに直面した場合、「顧客のために介入する」と述べた（注10）。

　データ分析企業のMorning Consultが実施したAWS（Amazon Web Services）に関する調査によると、ビジネスリーダーの半数近くが、2024年は前年よりも「責任あるAI」への投資を増やすことを計画している（注11）。この報告書では「責任あるAI」を公正や正確、安全、透明性、包括的な方法で技術を設計、開発、利用することと定義している。

　安全設計の原則をAIに組み込むという点で、企業にはまだ改善の余地がある。

　AWSのディヤ・ウィン氏（責任あるAIシニア・プラクティス・マネージャー）は、「2023年を振り返ると、企業は責任あるAIを "あった方が良いもの "と考えている。必ずしもやらなければならないことではないという考えだ」と述べた。

　同報告書によると、ビジネスリーダーが「責任あるAI」の採用で直面する3つのハードルは「テクノロジーの進化のスピードが速いこと」「認知度や教育が十分でないこと」「規制がないこと」だ。

　ウィン氏は「『責任ある実践』をビジネスにおける必須事項として捉えるように期待される動きは、規制と内部からの圧力に由来している」と述べた。AWSの報告書によると、ビジネスリーダーの半数近くが「役員会が『責任あるAI』を推進する計画や戦略の策定を推進した」「今後1年以内に推進する」と回答した。

　規制の圧力が続くと予想される中、AIシステムの安全で責任ある開発と利用を先延ばしにする企業は、顧客の信頼を損なったり風評被害を受けたり、収益損失や規制当局の反発、犯罪につながるリスクを負ったりすることになるだろう。

　AWSの調査によると、ビジネスリーダーの3分の1以上が「AIの無責任な設計・開発、使用に関連する損害対策には100万ドル以上を費やす必要がある」と考えている。

「その自動化、本当にAIを使う必要ある？」

　2022年は生成AIを取り巻く"誇大広告"によって定義された年だった。ヘルスケアから小売、ソフトウェア開発から人事まで、業界や企業でユースケースが現れ始めた。

　コンサルティングを手掛けるCrederaのチーフ・データ・サイエンティストでAIグローバル・カウンシルの創設者でもあるヴィンセント・イエーツ氏は、「AIは常に広く応用できたが、今は即座に利用できるようになった。企業は何から手を付けるべきか苦慮している」と述べる。

　大半の企業は生成AI導入にかなり早い段階から取り組んでいる。イエーツ氏は「ほとんどの企業が現実的な戦略を持っているとは思えない。戦略を構築するためには、どのような選択肢があるかを認識し、それについてじっくりと時間をかけて考える必要がある」と述べる。

　また、生成AIが必ずしも企業が抱える課題に関する最善の解決策とは限らない。

　コルビー大学デイビスAI研究所のアマンダ・ステント教授兼所長は、生成AIや同研究所の研究においてビジネスパーソンと話す際にあるルールを適用している。

　「まず、『この業務は自動化する必要があるのかどうか』を尋ねることにしている。自動化する必要があるなら、AIを利用して自動化する必要があるのかどうかを聞く。というのも、多くの場合は通常のコードアルゴリズムのような、より精査しやすいものを使って自動化できるからだ」

　アーランドソン氏もRed Hatのプロジェクトを引き合いに出しながら同様の意見を述べた。「われわれは生成AIを使った実験を幾つか実施した。興味深いのは、少なくとも特定のケースでは、われわれが試した全ての生成モデルを手動の非学習モデルアルゴリズムが凌駕（りょうが）したことだ」

　企業のテクノロジーリーダーは、高価なテクノロジーソリューションを単にそれを利用するためだけに組み込むのは直感に反することを知っている。しかし、生成AIの採用にかかっているプレッシャーは、その境界線を曖昧にしている。

　ソフトウェアのレビューサイトを運営しているG2のマシュー・ミラー氏（AI・オートメーションアナリティクス担当プリンシパル・アナリスト）によると、ITベンダーでさえ、AIの機能の一部が抑制されることを期待している。

　「特定の製品や特定のカテゴリーにおける生成機能の一部は、大きなインパクトを与えず、企業やITベンダーのコストになっている。これらはおそらく衰退し、消えていくだろう。全てのユースケースにおいて、生成機能が必ずしも必要なわけではないことが理解されるにつれ、（生成AIをあらゆる業務に導入しようという動きに対する）"反対運動"が起こるだろう」（ミラー氏）

（注1）Targeting AI, CTOs pursue different approaches（SoftBank Vision Fund）
（注2）PwC’s 2023 Emerging Technology Survey（pwc）
（注3）The Foundation Model Transparency Index（Stanford University）
（注4）The Foundation Model Transparency Index（Stanford University）
（注5）OpenAI launches ChatGPT Enterprise as hyperscalers grow AI marketplaces（CIO Dive）
（注6）Generative AI risks loom as businesses increase investments（CIO Dive）
（注7）Don’t rush ethics in generative AI adoption plans（CIO Dive）
（注8）The rise of generative AI: A timeline of triumphs, hiccups and hype（CIO Dive）
（注9）Generative AI copyright battle heats up with Copyright Office inquiry（CIO Dive）
（注10）AI adoption in software development is slow to take root（CIO Dive）
（注11）New survey findings show that businesses plan to increase investments in responsible AI in 2024（AWS）

（初出）ChatGPT turns 1: What’s next for enterprise generative AI?

原文へのリンク