AIが人間の認知のゆがみを総合的に補正――マルチモーダルAIで事象全てをログ化すると何ができるか

いまここで発生している事象を全て感知し、認知バイアスなしに判断することも人間には難しい。ファクトフルな判断を助けるツールとして「全ての事象をログ化する」AIを生かす提案をEY ジャパンが始める。

[荒 民雄，ITmedia]

　EY ストラテジー・アンド・コンサルティング（以下、EY Japan）は、映像や画像、音声情報など複数の情報を扱える「マルチモーダルAI」を使った新規価値創出支援サービスを2024年4月1日に開始する。

　大規模言語モデル（LLM）はテキストデータなどの自然言語しか扱えないが、これと画像や映像、音声認識などを組み合わせたマルチモーダルAIでは、これらの要素を複合的に処理して「統合的な認知空間」から複雑な情報を処理できる。人間が持つ認知バイアスなどを排除して複雑な情報を処理できる可能性がある。

（出典：EY Japan）

ヒトの限界を突破して事象全てをログ化すると何ができるか

　EY Japanの山本直人氏（テクノロジーコンサルティング　AI&Dataパートナー）は、「さまざまな事象を全て自然言語のログとして記録できるようになる」とマルチモーダルAIの価値を説明する。

　山本氏は、OpenAIの論文を基に「シングルモーダルAIは学習ソースに忠実なものしか判断できない、いわば『丸暗記モデル』。画像のバナナを学習しただけではモノクロの手描きスケッチのバナナを判断できない。一方で、マルチモーダルは事象を概念化して処理できるため、正答率が格段に高くなる」と説明する。

OpenAIが発表した資料。マルチモーダルAIは抽象概念としての「バナナ」の判定精度が高い（Connecting text and images（January 5.2021）Open AI, openai.com/research/clip、出典：EY Japan発表資料）

　例えば群衆の映像に映る一人一人を対象に、表情や振る舞いから感情の推定し、感情に関するテキストデータをひも付けて保管することも可能だ。これを基にヒトに近いデジタルペルソナを持つAIモデルを組み立てれば、対話形式での顧客ペルソナ分析に使うことも考えられる。

　製造工程における暗黙知の形式知化や、映像を基に運営マニュアルと突合して工場が適切に運営されているかを判定することも可能だ。

　こうしたマルチモーダルAIによる判断は、人間の認知の歪みや認識能力の限界を超えて効率よく情報を処理する助けになる可能性がある。

作業空間の認識の例（出典：EY Japan発表資料）

想定するユースケース例（出典：EY Japan発表資料）

　同サービスは機密情報などの取り扱いを念頭に置き、オンプレミスで利用可能だ。特定のクラウドプラットフォームに依存せずにAI関連の研究開発動向を踏まえた組み合わせを想定している。EY ジャパンは、コンセプト策定やリスク評価、AIガバナンスの検証、実装やプラットフォーム化に至るマルチモーダルAI導入プロセス全体を支援する計画だ。

マルチモーダルAI導入のプロセス（出典：EY Japan発表資料）

　AI技術への投資を強化するコンサルティング企業は増えている。EY Japanの新坂上 治氏（テクノロジーコンサルティング　統括パートナー）は「EYはグローバルで14億ドルの投資を進めている。AI導入支援や統合型プラットフォーム『EY.ai』の開発を進めており、グローバルで150万人のユーザーが活用している。マルチモーダルAIによる価値創出支援サービスはEY Japanが開発したもの。人間の認知を越えて事象を読み解き、新たな事業の創出や拡張を支援する。技術面だけでなく、事業成立に向けた組織戦略やM&A支援を含む包括的な伴走支援を進める」とEY Japanの取り組みを説明した。