「AI開発、“外注”しても大丈夫？」──丸投げで失敗するケースも 絶対に「手放してはいけないもの」とは：AI導入100本ノック（2/3 ページ）

[古田拓也，ITmedia]

A．SIerに任せてもOK、ただし「評価」は自前で

　結論からいえば、開発をSIerに任せること自体は問題ない。ただし「AIが出力した回答のうちどれなら合格か」を決める「Eval」（評価）だけは、A社が手元に残す必要があるだろう。

　従来のシステム開発は、要件を固め、その通りに動けば完成と判定できた。

　しかし、AIは決まった手順を実行するプログラムと異なり、特段の制御がなければ同じ質問にも毎回少しずつ違う答えを返すことがある。どこまで正しく答えられるかは、作ってみないと分からない。

　経済産業省が2025年2月に公表した『AIの利用・開発に関する契約チェックリスト』も、AIモデルは完成義務の設定や性能保証が必ずしも容易でないと指摘している。

「委託先のテストで90点、でも使いものにならない」なぜ？

　AIは、性能評価が難しい。そこで海外では、企業が最初にEvalを整える潮流がある。評価を意味する「evaluation」の略で、「イーバル」と読む。米OpenAIは企業向けAI導入の手引き『AI in the Enterprise』で、AI導入における7つの教訓の1つ目に「Evalから始める」を挙げている。Evalについては、特定の用途でAIが実際にどれだけ機能するかを基準に照らして測る、体系立った手順だと説明している。

AI導入における7つの教訓のうち、1つ目に「Eval」を挙げている（出所：OpenAIのAI in the Enterprise）

　A社の場合であれば、品質保証部門に届いた問い合わせから質問と模範解答を集め、合格ラインをSIerと合意しておきたい。その指標を、経営や部署の計画が目指す回答日数や、社内問い合わせの対応件数、対応工数とつなげれば、経営企画への説明もしやすくなるはずだ。

　注意したいのは、このEvalまで委託先に委ねてしまうと、委託先が用意したテストに通ることが「成功」になりやすい点だ。例えば、ベンダーの100問では9割正解したのに、実際の問い合わせでは半分しか答えられない、ということが起こり得る。