プロンプト作成は「ヒトに残された」仕事か？ それともただの「時間の浪費」なのか：CIO Dive

生成AI活用においてプロンプトの調整は重要だ。生成AI登場当初はプロンプトエンジニアが重宝されていたが、「AIの方が人間よりも優れたプロンプトエンジニアだ」と結論付ける論文が発表された。

[Lindsey Wilkinson，CIO Dive]

　生成AIが企業の技術スタックに浸透するにつれて、プロンプト技術に関するトレーニングは従業員をサポートしてスキルアップさせるための重要な戦略の一つになっている。

「AIは人よりも優秀なプロンプトエンジニア」なのか？

　生成AIによって仕事が奪われるのではないかという懸念が広がる中、プロンプトエンジニアリングは新たな仕事を生み出す手段として取り上げられた（注1）。

　しかし、その流れは変わりつつあるようだ。

　VMwareを買収した、半導体製品やソフトウェアなどの製造販売を手掛けるBroadcomのリック・バトル氏（ML《機械学習》エンジニア）によれば、プロンプトエンジニアリングは急速に「後回し」にされつつある。同氏は2024年2月に発表された論文の主要執筆者の1人だ。同論文ではAIモデルが人間よりも優れたプロンプトエンジニアであることが明らかにされている（注2）。

　「プロンプトをいまだに手作業で調整している人は、本当に重要なこと、すなわち最適化とテストセットの構築に集中できておらず、時間を無駄にしている」（バトル氏）

　企業は生成AIを通じてこの1年間、さまざまな実験を実施した。AIへの規制が強化されつつある中で、企業と生成AIとの関係は「第2段階」に入りつつある。今重視されているのは、費用対効果が高く、効率的かつ責任ある方法でAIに関連する目標を達成するために、人材戦略と技術の実装を協調させることだ。

　しかし、技術革新と変化のスピードが速まる中、将来を見据えて計画を立てることは難しい。

　調査会社であるForrester Researchのローワン・カラン氏（シニアアナリスト）は「CIO Dive」の取材に対して、「企業の技術リーダーはこうした決断を下すと同時に、広範な開発やメディア領域で続いている『興奮の渦』に対処しようとしている。より実用的な段階に入ったとはいえ、生成AIが何でも可能にするようにうたう『誇大広告』の段階は終わっていない」と述べる。

「自動プロンプト最適化ツール」は、新たな企業戦略となる

　生成AIツールは管理者の負担を軽減し、情報収集を容易にし、ユーザー体験を向上させることを目的としている。しかし、プロンプト調整自体が時間を浪費する作業になりかねない。

　LLM（大規模言語モデル）は、与えられた指示を受け入れやすいため、前向きな考えで生成AIツールを操作しようとする人もいる（注3）。例えば、ユーザーが“報酬”を提示すると、より長い回答をすることが判明している。

　「なぜLLMがこのような挙動を示すのか、われわれは正確に理解できていない。このことは生成AIツールを使用する際にも影響してくる」と、調査会社であるInfo-Tech Research Groupのジェレミー・ロバーツ氏（シニア・ワークショップ・ディレクター）は話す。「CIO（最高情報責任者）はツールを広く取り入れる際には、透明性と説明責任を追求すべきだ」（ロバーツ氏）

　バトル氏の調査では、人が書いた前向きな思考をプロンプトに取り入れる際に見られるほぼ全てのパターンで、注目すべき例外が少なくとも1つ発見された。どのようなモデルのパフォーマンスも最適化できるような分かりやすく普遍的なプロンプトのスニペットがなければ、ユーザーはプロンプトを際限なく調整し続けることになる。

　「LLMをより賢くなるように教育するのは、LLM自身に任せた方がいい」（バトル氏）

　自動プロンプト最適化ツールとしてLLMを使用することで、ニッチで希少なスキルセットを持つ人材を企業が採用する苦労も軽減できる。とはいえ、最新のアプローチに関してより広範な企業アプリケーション開発プロセスの一端を担うIT技術者のスキルアップは欠かせない。

　「LLMで成功するのに最適な人材は、以前より小規模な言語モデルで成功していたのと同じ人材、つまり正式な訓練を受けたデータサイエンティストやMLエンジニアだ。LLMの登場は、データサイエンスの基本を変えるものではない。LLMを搭載した本番環境のアプリケーションを構築するIT技術者は、テストセットや評価指標、障害分析に精通している必要がある」（バトル氏）

　自動プロンプト最適化ツールの使用は新たな企業戦略と考えられており、より多くの組織がこれに乗り出している。

　「自動プロンプト最適化ツールは、企業がLLMをサポートするアプリケーションの能力を理解し、手動でのシステムの設計や処理をあまり行わずに、より現実的なテスト環境を構築するのに役立つ強力なツールだ。これによって、基本的な工数が削減できることはほぼ間違いない」（バトル氏）

（注1）How much will generative AI disrupt jobs?（CIO Dive）
（注2）The Unreasonable Effectiveness of Eccentric Automatic Prompts（Cornell University）
（注3）ChatGPT’s ‘winter break’ is the latest sign of model drifts（CIO Dive）

（初出）Is prompt engineering’s party over?