「AI開発、“外注”しても大丈夫？」──丸投げで失敗するケースも 絶対に「手放してはいけないもの」とは：AI導入100本ノック（3/3 ページ）

AI開発を外注したら、委託先の試験では90点なのに社内では使い物にならない――こんな悩みをどう解決すればよいのか。そもそも、外注してもよいのか。失敗しないAI導入のコツを整理する。

[古田拓也，ITmedia]

AIを評価する「Eval」どう取り組めばよいのか

　Evalは一度きりの検定ではなく、中長期で組織に根付かなければ経営効果に反映されにくい。具体的な観点は、用途ごとに切り分ける必要がある。

　Evalをどう理解すればよいのか。OpenAIは、Evalの観点として「より正確か、規則に沿っているか、より安全か」といった問いを例に挙げ、重視する指標は用途によって変わるとしている。

　AIツールの中には、Eval関連の機能を搭載しているものがある。米MicrosoftのクラウドAIプラットフォーム「Microsoft Foundry」は、AIの回答やAIエージェントの動作を評価する機能を備えている。回答が根拠資料に沿っているか、質問に関係しているか、安全かといった指標で、モデル選びから本番前の試験、運用中の監視まで測れるようになっている。

　Evalの作り方について、米Anthropicは、成功の基準を先に決め、実際の業務で届く質問の傾向を映したEvalを作り、例外的なケースも含めるよう勧めている。

　同社は採点方法について「決まった答えとの照合をプログラムで行う方法」「AIに採点させる方法」「人が見る方法」があり、速く、信頼でき、数をこなせる方法を選ぶよう求めている。

　Anthropicの技術者は2026年1月の解説で、最初から数百の事例を用意する必要はなく、実際の失敗から集めた20〜50問で始めれば良い出発点になるとしている。同社内では、評価で使う課題の多くを各分野の専門家や製品の担当チームが作る形がうまくいったという。

　契約のスキームも重要だ。経産省の契約チェックリストは、準委任とするか、完成させる義務を負う「請負」とするかの区別を重要な検討事項に挙げている。仕様が固まらない試行段階は準委任とし、次に進むかはA社が持つEvalの結果で判断するのが現実的だろう。

※ページ区切り：モルガン・スタンレーは3つのEvalから始めた

モルガン・スタンレーは3つのEvalから始めた

　OpenAIのAIを導入した米金融大手Morgan Stanley（モルガン・スタンレー）では、顧客との関係性が重要な業務にAIが役立つのか、社内に疑問の声もあったという。

　それでも、まずは翻訳の正確さ、要約の正確さや関連性、専門のアドバイザーの回答との比較という3つのEvalから始め、これらを含むEvalを通じて本番に展開する確信を得たという。今では同社のアドバイザーの98％が日常的にAIを使い、文書へのアクセスは20％から80％に上がった。

　利用の広がりには業務への組み込み方なども影響しているだろうが、同社の事例は、AIベンダーと提携しつつも、自社のアドバイザーの回答を合否の物差しにした点で参考になる。

　国内では、デジタル庁の進め方が参考になる。同庁は生成AIの利用環境「源内」（げんない）を内製で構築し、2026年5月から約18万人の政府職員を対象とする大規模実証を始めた。システム基盤の開発・検証などは民間事業者に任せている。

　注目したいのは、源内で使う基盤モデルの選び方だ。同庁は、源内で使うAIモデルを公募した。

　応募企業に対して、海外の主要モデルと比べたベンチマークのテスト結果の提出を求める一方、自らも評価テストを実施した。同庁が用意した50問をその場で初めて企業に示し、出力を同庁が直接確認する形で、質問は企業ごとに無作為に変えた。

　3月時点の計画では、8月ごろから源内上で試用して評価を進め、2026年冬に結果の概要を公表するとしている。

「DX人材が不足」は85％　外部の力をどう使うかが問われる

　情報処理推進機構（IPA）「『DX動向2026」によると、DXに取り組む企業のうち、DXを推進する人材の量が不足していると答えた企業は2025年度に85.5％で、従業員301人以上では9割を超えた。外部の力に頼る流れは続く可能性が高い。

　そのような環境の中では、AIツールやAIエージェントに対する社内需要を内製だけで満たすのは難しい。だからこそ、発注者は「AIエージェントがこなす仕事の評価」、つまりEvalの手綱を手放さないことが肝要となるだろう。

　冒頭で例に挙げたA社がSIerの提案を断る必要はない。Evalを自社側が主導して定義し、それを発注の前提として合意することから始めるのがよいだろう。

連載：AI導入100本ノック

AIブームも数年が過ぎた。“様子見”していた企業は「AI導入」に本腰を入れ、先行する企業は「AIの利用から活用へ」と進み始めている。そんな流れを阻む「現場のボトルネック」をどう解決すればよいのか。AI推進役、情シス、ユーザー部門、経営層――社内を巻き込むAI導入、その推進ポイントを「架空事例」を基に解説する。

https://www.itmedia.co.jp/business/series/46863/index.html