デスクトップに常駐するAIアシスタントキャラ技術 カメラで現実世界を認識・ビデオ会議に参加も可能 NVIDIAから

PCのデスクトップに常駐し、ユーザーの指示に従うAIアシスタントキャラクター技術「Project R2X」を、NVIDIAが発表した。口頭で文章の要約や解説を指示できる他、カメラを通して現実世界を認識したり、ビデオ会議に参加したりできるという。デモ映像も公開した。

[ITmedia]

　米NVIDIAは1月6日（現地時間）、PCのデスクトップに常駐し、ユーザーの指示に従うAIアシスタントキャラクター技術「Project R2X」を発表した。口頭で文章の要約や解説を指示できる他、カメラを通して現実世界を認識したり、ビデオ会議に参加したりもできるという。デモ映像も公開した。

　Project R2Xは音声でユーザーと会話でき、唇・舌などのアニメーション機能も備える。デモ映像では、英語を話す若い女性のアバターとしてユーザーのデスクトップに常駐。質問に応じてPhotoshopの使い方を指南する様子や、PDFを読み込んで中身に関する問いに答える様子などが確認できる。

デモ映像のスクリーンショット

デモ映像のスクリーンショット

　PCのカメラを通して、ユーザーが持っているカップを認識し、「赤と白の使い捨てコーヒーカップを持っていますね」「スターバックスのカップのように見えます」と推測するシーンも。ユーザーと一緒にビデオ会議に参加し、会話に混ざる場面もあった。

　AIキャラクターの“知識”を増やすことも可能といい、デモ動画には情報共有ツール「notion」と接続することで、Project R2Xによる回答の幅を広げる一幕もあった。NVIDIAによればProject R2Xは、同社のGPU「RTX」シリーズ上で実行できる基盤モデル「NVIDIA NIMマイクロサービス」の利用例として開発している技術という。

デモ映像