「この人誰？」「前に何話したっけ？」を解決──対話中、前回の会話内容を呼び出すAI搭載ARメガネ

公開 2025年06月05日 12時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　中国の清華大学に所属する研究者らが発表した論文「AR Secretary Agent: Real-time Memory Augmentation via LLM-powered Augmented Reality Glasses」は、ARグラスと大規模言語モデル（LLM）を活用した記憶拡張システムを提案した研究報告だ。

システムの概要

　日々多数の人々と接触し、その全てを詳細に記憶することは困難だ。この人は誰だったか、前回何について話したか、といった情報の想起は、ビジネスの現場において重要でありながら、人間の記憶力の限界により困難を伴うことが多い。

　今回開発したシステムは、コンピュータビジョン技術による顔認識機能と、音声録音・文字起こし機能、GPT-4による自動要約機能を統合している。

　ユーザーがARグラスを装着して会話を行う際、システムは相手の顔を認識し、過去の会話内容の要約をARグラスのディスプレイに表示する。この一連の処理は、Bluetoothで接続されたスマートリングを通じて制御し、目立たない形で実行する。

システムのパイプライン

　技術的な実装において、システムはINMO AIR 2グラスとINMO Ring 2を基盤として構築。音声処理では、30秒間隔で分割した音声データをWhisperで文字起こしし、OpenAIのAPIを通じてGPT-4が要約を生成する。画像処理では、顔認識ライブラリを使用して128次元の特徴を抽出し、サポートベクターマシン（SVM）で既知の顔との照合を行う。

システムのインタフェース

　実験では12人の参加者を対象に、情報密度の高い4つの会話を通じて、短期記憶と長期記憶の両方を評価した。特に長期記憶については、3～4日後に、参加者には事前の通知なく、以前に会った4人の話者の中からランダムに選ばれた2人の名前と会話内容を思い出してもらうよう求めた。この記憶想起の際に、参加者にはARグラスが生成した1～2文の短い要約を提供した。

　参加者は従来のメモ取り方法と比較して、今回のARグラスを使用した場合に最大20％の記憶向上を示した。特に長期記憶においては、3日後の記憶テストでも統計的に有意な改善を確認した。

Source and Image Credits: Haddad, Raphael A. El, et al. “AR Secretary Agent: Real-time Memory Augmentation via LLM-powered Augmented Reality Glasses.” arXiv preprint arXiv:2505.11888（2025）.

この連載新着通知をメールで受け取る

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る