「AIはもう十分賢い」　活用のボトルネックは「モデル性能」から「評価」へ　米データ基盤開発企業のAI研究者に聞く

　今日のAIモデルはもう十分賢い――AI向けデータ基盤製品を提供する米DatabricksのチーフAIサイエンティスト、ジョナサン・フランクル氏はこう断言する。2023年にDatabricksに買収されたAI開発企業、米MosaicMLの共同創業者でもある同氏が見据えるAI活用ボトルネックは、モデルの賢さではなく「評価」「ガバナンス」「コスト効率」だという。

「私なら、まず評価とガバナンスに投資する」

　フランクル氏はまず、「AIの進歩とは、より大きく賢いモデルを作ることだろうか？」と、暗黙に前提とされてきたことを問い直す。同氏によれば、AI製品の顧客が困っているのは「AIが良い仕事をしたとどう確かめるか」「費用対効果の高いエージェントをどう作るか」「どうAIを統制するか」だ。仮にAIモデルの性能向上が今止まっても、既存モデルの活用法を考える仕事だけで数十年分残るとの立場を示す。

　中でも同氏が注力するのがAIのアウトプットの評価だ。AIが人間の指示通りのものを出力しているか、人間に害のある出力をしていないか、などを評価し、その評価を基にプロンプトやハーネス、コンテキスト管理の仕組みを調整すれば、性能の低いモデルでも高品質なアウトプットができるようになる可能性がある。

　同氏は「70％の確率で正しく動くのでは不十分だ。90％でも足りない。本当に信頼できなければならない」と述べ、機械学習モデルの品質改善を支援する管理ツール「MLflow」の開発に自ら多くの時間を割いていると強調した。

　「投資資金があり、（企業での）AIの普及を望むなら、私は賢いモデルではなく評価とガバナンスに投資する」（フランクル氏）

AIの評価は「桁違いに厳密」であるべき

　では、なぜAIのアウトプットを評価するのは難しいのか。人間なら半年や1年に1度の定性的な人事評価で足りるが、「AIを同じ方法で評価することはできない」とフランクル氏は指摘する。

　同氏が例に挙げたのが自動運転だ。人間であれば、運転免許試験に合格さえすればすぐに公道で運転できる。しかし、自動運転車がこの試験に一度合格したとしても、公道で走らせるわけにはいかない。自動運転のソフトウェアに1つでもミスがあれば、同じソフトウェアを利用した多くの車が事故を起こす可能性があるからだ。だからこそ、AIには人間よりも「桁違いに厳密な評価が必要になる」（フランクル氏）という。

　AIの仕事を厳密に評価するには、膨大な評価項目を並べたチェックリストが必要になる。フランクル氏は「『良い仕事とは何か』という人間の頭の中の基準をチェックリストに落とし込むことが意外と難しい」と指摘し、「心を読める機械がない限り、人間が自らの望みを正確に記述するのが当面のボトルネックになる」とした。

AIの評価は「次の巨大モデルを作るよりはるかに難しい」

　今後、AIが広範囲に普及することで、あらゆる場面でAIのアウトプットを評価する必要が出てくると同氏は強調する。「仕事を、経済を、誰も想像したことのない解像度で測ることになる」（フランクル氏）

　同氏はこの課題が「次の巨大モデルを作るよりはるかに難しく、重要な研究課題」であり、解決には10年以上かかる可能性もあるとした。モデルの性能は米OpenAIやAnthropicなどのプロバイダーに依存するが、「良い仕事とは何か」はユーザーが定義する必要がある。AIの出力品質が想定より低いと悩んでいるユーザーは、まずここから始めてみるのが良さそうだ。

取材協力先：データブリックスジャパン

この記事の著者

関連記事

• 

  OpenAIの内部モデルが数学の未解決問題を証明──OpenAIは「重要な転換点」、フィールズ賞受賞数学者は「画期的な成果」と評価

• 

  OpenAIの高度AIでソフトバンクの脆弱性を1万件発見　孫正義氏「大変な危機」　日本の重要インフラ企業へ診断サービス提供

• 

  Amazon Bedrockで「GPT-5.5」解禁、Codexでも利用可能　USリージョンのみ、日本リージョンは未定