「この人誰？」「前に何話したっけ？」を解決──対話中、前回の会話内容を呼び出すAI搭載ARメガネ：Innovative Tech（AI+）

中国の清華大学に所属する研究者らは、ARグラスと大規模言語モデル（LLM）を活用した記憶拡張システムを提案した研究報告を発表した。

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　中国の清華大学に所属する研究者らが発表した論文「AR Secretary Agent: Real-time Memory Augmentation via LLM-powered Augmented Reality Glasses」は、ARグラスと大規模言語モデル（LLM）を活用した記憶拡張システムを提案した研究報告だ。

システムの概要

　日々多数の人々と接触し、その全てを詳細に記憶することは困難だ。この人は誰だったか、前回何について話したか、といった情報の想起は、ビジネスの現場において重要でありながら、人間の記憶力の限界により困難を伴うことが多い。

　今回開発したシステムは、コンピュータビジョン技術による顔認識機能と、音声録音・文字起こし機能、GPT-4による自動要約機能を統合している。

　ユーザーがARグラスを装着して会話を行う際、システムは相手の顔を認識し、過去の会話内容の要約をARグラスのディスプレイに表示する。この一連の処理は、Bluetoothで接続されたスマートリングを通じて制御し、目立たない形で実行する。

システムのパイプライン

　技術的な実装において、システムはINMO AIR 2グラスとINMO Ring 2を基盤として構築。音声処理では、30秒間隔で分割した音声データをWhisperで文字起こしし、OpenAIのAPIを通じてGPT-4が要約を生成する。画像処理では、顔認識ライブラリを使用して128次元の特徴を抽出し、サポートベクターマシン（SVM）で既知の顔との照合を行う。

システムのインタフェース

　実験では12人の参加者を対象に、情報密度の高い4つの会話を通じて、短期記憶と長期記憶の両方を評価した。特に長期記憶については、3〜4日後に、参加者には事前の通知なく、以前に会った4人の話者の中からランダムに選ばれた2人の名前と会話内容を思い出してもらうよう求めた。この記憶想起の際に、参加者にはARグラスが生成した1〜2文の短い要約を提供した。

　参加者は従来のメモ取り方法と比較して、今回のARグラスを使用した場合に最大20％の記憶向上を示した。特に長期記憶においては、3日後の記憶テストでも統計的に有意な改善を確認した。

Source and Image Credits: Haddad, Raphael A. El, et al. “AR Secretary Agent: Real-time Memory Augmentation via LLM-powered Augmented Reality Glasses.” arXiv preprint arXiv:2505.11888（2025）.