カメラなしでも全行動を文章で記録する「RF-Diary」 RF信号でライフログ技術、MITが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米マサチューセッツ工科大学（MIT）CSAIL（Computer Science and Artificial Intelligence Laboratory）の研究チームが開発した「In-Home Daily-Life Captioning Using Radio Signals」（RF-Diary）は、家庭内に設置した無線周波数（RF）信号装置で人の動きを記録し、何をしていたかを文章で残せるシステムだ。

　 人の日常生活を記録する場合、一般的なRGB方式のカメラをトイレや浴室、寝室などに設置するとプライバシー上の懸念が生じるだけでなく、カメラの視野が限られるため物陰で見えなかったり、暗いシーンでは撮影が困難だったりする。どの部屋に行ってもレンズがこちらを向いているとしたら、それは耐え難いものだろう。

　これらの問題に対処するために、RF信号を使用する。RF信号は1台だけで部屋の大部分をカバーし、壁や遮蔽物を通過できるだけでなく、明暗にかかわらず機能する。

　今回使用するRF信号ベースの無線機（垂直/水平方向に配置された2つのアンテナアレイを搭載）は、FM-CW（周波数変調連続波）と呼ばれる波形を送信し、5.4GHzから7.2GHzまで周波数を変化させる。これにより、人間の骨格の状態を動的に記録できる。

2つのシーンをRGBカメラとRF-Diaryで記録しテキスト記述した例。上段ではRGBカメラは暗闇で記録できていないが、RF-Diaryは記録に成功し「ベッドで寝る、コートを着る、机に歩いて行きラップトップを操作する」と、具体的に動作を記録している。下段ではRGBカメラの場合、「皿を洗う」と誤記しているのに対して、RF-Diaryでは「コンロ上で料理をする」と正確に記録している

　入力にはRF信号の他に、ベッドやソファ、テレビ、冷蔵庫などの静的な物体の大きさと位置が記された家庭内の見取り図を使う。見取り図は、レーザーメーターを使えば簡単に測定可能だ。

RF-Diaryを使用した場合のイメージ。上の方にRF機器が設置してある

　RF-Diaryは、最初にRF信号から人物の骨格、見取り図からの特徴を抽出し、シーン内の人物を基準とした各オブジェクトの位置と向きを計算、統合した特徴マップを作成する。この特徴を言語生成ネットワークに入力し、テキストによる説明文を生成する。

モデルのアーキテクチャ。RF-Diaryは、RF信号と見取り図から特徴を抽出し、人物と環境を統合した特徴マップを作成、この特徴を言語生成ネットワークに取り込み説明文を生成する

　これにより、壁やドアなどの遮蔽物や照明も気にせず、プライバシーが保護された状態で人の動作を全て記録し、その動作説明を文章で残せる。特に、監視されているという閉塞感が大幅に軽減される。

　このようなシステムは利用者自身の健康管理に使えるほか、例えば、高齢者やアルツハイマー病を患っている人が、薬を飲んだか、歯を磨いたか、十分に寝たか、夜起きたか、食事を食べたかなどの失念防止に活用できる。親の日常生活をテキスト情報で受信することで遠隔介護の可能性も示唆してしている。

RGBカメラとRF-Diaryを比較した6つのシーン