Innovative Tech

「AI多すぎ、何使えばいいか分からない……」を解決するAI「HuggingGPT」　文章入力だけで、適切な機械学習モデルを自動選択（1/2 ページ）

公開 2023年04月07日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　中国の浙江大学とMicrosoft Research Asiaに所属する研究者らが発表した論文「HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace」は、大規模言語モデル（LLM）と多数の機械学習モデルを連携し、ユーザーがテキストを入力するだけで、その内容を解決するための適切な機械学習を選んでくれるシステムを提案した研究報告である。

　今回はChatGPTと、LLMの機械学習モデルやデータセットなどが共有されているプラットフォーム「Hugging Face」（詳細はこちら）を連携したシステムとなる。ユーザーはテキストを入力するだけで、その内容を解決するための適切な機械学習モデルが選択され、処理してくれる。

　例えば「この画像が何を表しているのか？」という文章を動物たちが写る画像とともに入力すると「キリンとシマウマの群れが草を食べている様子」などと言語で表示され、また各動物の画像にはバウンディングボックスが示される。そしてどんな技術（例：画像分類、物体検出など）を使い、どんなモデル（Hugging Face内のモデル名）を使ったかも複数が言語で表示される。

HuggingGPTの使用例

　機械学習モデルが乱立する昨今、特に自然言語を入力に使い、テキストや画像、動画、コード、音声などを出力するタスクは一気に誰でも使えるレベルに落とし込まれつつある。しかし、どの機械学習モデルを使っていいのか分からないことが問題の1つだろう。

　そこで、どの機械学習モデルを選択するかもAIに自動化してもらうというのが今回の目的である。具体的には、LLMを活用して問題を入力し、その問題を解決するソリューションに応じた機械学習モデルを引っ張ってきて、処理する。自然言語を機械学習モデル選択のコントローラーとして使ってしまうというアプローチだ。

　この研究では、チャットAIサービス「ChatGPT」を活用し、機械学習コミュニティー（Hugging Face）内のさまざまな機械学習モデルを連携させてAIタスクを解決するシステム「HuggingGPT」を提案する。

　ユーザーがChatGPTにテキスト入力した問題を分析し、Hugging Faceから適応する機械学習モデルを複数採用し、その要求を解決する。HuggingGPTの全プロセスは4つの段階で構成される。

タスクプランニング：ChatGPTを用い、ユーザーの要求を解析し、その意図を理解してプロンプトによって解決可能なサブタスクに分解する。
モデル選択：サブタスクに基づき、ChatGPTはHugging Faceにホストされている対応モデルを呼び出す。
タスクの実行：呼び出されたモデルを実行し、その結果をChatGPTに返す。
レスポンス生成：最後に、ChatGPTで全モデルの予測結果を統合し、ユーザーへの回答を生成する

HuggingGPTのワークフローは4つのステージで構成される

　このような設計により、HuggingGPTは外部モデルを利用可能なため、マルチモーダルな知覚能力を統合し、複数の複雑なAIタスクを扱うことができる。現在は、ChatGPTを中心にHuggingFace上の数百のモデルを統合し、テキスト分類や物体検出、意味分割、画像生成、質疑応答、テキストから音声、テキストから動画といった多数のタスクをカバーしている。

　またHuggingFace上に新しいモデルが共有されればされるほど強固なものに成長していく。

次ページへ HuggingGPTで何ができるか？

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る