「AIはもう十分賢い」 活用のボトルネックは「モデル性能」から「評価」へ 米データ基盤開発企業のAI研究者に聞く
今日のAIモデルはもう十分賢い――AI向けデータ基盤製品を提供する米DatabricksのチーフAIサイエンティスト、ジョナサン・フランクル氏はこう断言する。2023年にDatabricksに買収されたAI開発企業、米MosaicMLの共同創業者でもある同氏が見据えるAI活用ボトルネックは、モデルの賢さではなく「評価」「ガバナンス」「コスト効率」だという。
「私なら、まず評価とガバナンスに投資する」
フランクル氏はまず、「AIの進歩とは、より大きく賢いモデルを作ることだろうか?」と、暗黙に前提とされてきたことを問い直す。同氏によれば、AI製品の顧客が困っているのは「AIが良い仕事をしたとどう確かめるか」「費用対効果の高いエージェントをどう作るか」「どうAIを統制するか」だ。仮にAIモデルの性能向上が今止まっても、既存モデルの活用法を考える仕事だけで数十年分残るとの立場を示す。
中でも同氏が注力するのがAIのアウトプットの評価だ。AIが人間の指示通りのものを出力しているか、人間に害のある出力をしていないか、などを評価し、その評価を基にプロンプトやハーネス、コンテキスト管理の仕組みを調整すれば、性能の低いモデルでも高品質なアウトプットができるようになる可能性がある。
同氏は「70%の確率で正しく動くのでは不十分だ。90%でも足りない。本当に信頼できなければならない」と述べ、機械学習モデルの品質改善を支援する管理ツール「MLflow」の開発に自ら多くの時間を割いていると強調した。
「投資資金があり、(企業での)AIの普及を望むなら、私は賢いモデルではなく評価とガバナンスに投資する」(フランクル氏)
AIの評価は「桁違いに厳密」であるべき
では、なぜAIのアウトプットを評価するのは難しいのか。人間なら半年や1年に1度の定性的な人事評価で足りるが、「AIを同じ方法で評価することはできない」とフランクル氏は指摘する。
同氏が例に挙げたのが自動運転だ。人間であれば、運転免許試験に合格さえすればすぐに公道で運転できる。しかし、自動運転車がこの試験に一度合格したとしても、公道で走らせるわけにはいかない。自動運転のソフトウェアに1つでもミスがあれば、同じソフトウェアを利用した多くの車が事故を起こす可能性があるからだ。だからこそ、AIには人間よりも「桁違いに厳密な評価が必要になる」(フランクル氏)という。
AIの仕事を厳密に評価するには、膨大な評価項目を並べたチェックリストが必要になる。フランクル氏は「『良い仕事とは何か』という人間の頭の中の基準をチェックリストに落とし込むことが意外と難しい」と指摘し、「心を読める機械がない限り、人間が自らの望みを正確に記述するのが当面のボトルネックになる」とした。
AIの評価は「次の巨大モデルを作るよりはるかに難しい」
今後、AIが広範囲に普及することで、あらゆる場面でAIのアウトプットを評価する必要が出てくると同氏は強調する。「仕事を、経済を、誰も想像したことのない解像度で測ることになる」(フランクル氏)
同氏はこの課題が「次の巨大モデルを作るよりはるかに難しく、重要な研究課題」であり、解決には10年以上かかる可能性もあるとした。モデルの性能は米OpenAIやAnthropicなどのプロバイダーに依存するが、「良い仕事とは何か」はユーザーが定義する必要がある。AIの出力品質が想定より低いと悩んでいるユーザーは、まずここから始めてみるのが良さそうだ。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
2
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
3
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
4
NotebookLMに公式APIが登場 WebページやYouTube動画の取り込みを自動化でき、MCPでAIエージェントからも使える
-
5
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
6
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
7
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
8
ソブリンAI実現に向けて再び立ちはだかる「旧来の課題」 データ・インフラ・モデルの自由度をどう保つか
-
9
コマツ油機開発センタが挑む設計プロセス改革、ナレッジ検索/整備に生成AI活用
-
10
「e-F@ctory」から次の進化へ、三菱電機が描くAI主体の自律型工場
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR