タッチペンに魚眼カメラ搭載、両手の動きを検出して操作に応用 Preferred Networksら開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　AIベンチャーのPreferred Networks（PFN）とカナダ・ウォータールー大学による研究チームが開発した「PenSight」は、タッチペン上端に魚眼カメラを取り付け、両手のジェスチャーを認識できるようにしたシステムだ。

（a）タッチペン上部に下向きの魚眼カメラを備えたプロトタイプ（b）カメラでキャプチャされた広角ビュー（c）カメラはタッチペンを握った手と、もう一方の手の姿勢を検出する

　魚眼カメラをタッチペンの上部に取り付けることで、タッチペンを通常利用しながら両手のポジションを検出し、ジェスチャー操作を可能にする。

　プロトタイプは、180度魚眼レンズを備えた単一のカメラモジュールと、3Dプリンタで印刷した接続部品で構成する。

（a）Apple Pencil用のサイズに3Ｄプリンタで印刷した接続部品とセットしたカメラ（b）タッチペンの直径に合わせるため、リング横のネジを用いる

　手の位置と形状の予測には深層学習を用いて分類し、手とペン間の相対距離を決定するための回帰、そして指先を識別するためのキーポイント検出を行う。

　このシステムでは、タッチペンを使用する際の拡張機能として多様な操作が行える。例えば、タッチペンを持つ手・持たない手でのジェスチャー入力、環境内の物理コンテンツの検出、タブレットグリップの検出など、さまざまな組み合わせで操作が可能だ。

PenSightを利用したさまざまなジェスチャー入力の例

実際にPenSightを使用した例（a）タッチペンを持っていない方の手でスケッチの補助をする（b）タッチペンを持っている人差し指でタブレット外の写真を指して検索する（c）指を引いてパラメーター操作する（d）タッチペンを持っていない方の指を動かしてマップ操作の補助をする

　今回のプロトタイプで取り付けたカメラは、USBケーブルを用いてコンピュータと接続しており、理想的な形とはいえない。ワイヤレスカメラにすると、全体の重量や大きさとのトレードオフになるため、無線化は今後の課題としている。

　研究チームは、この課題を解決するための将来に向けたコンセプトアイデアを2つ提案している。

　1つ目は、タッチペン上部に視野角180度の広角レンズカメラを2台上下に向けて搭載するアイデア。今回のプロトタイプと違い、タッチペンの途中を透明ケースに収納し距離を確保しており、そのためキャプチャ時によけいな接続部品が映り込まない。

　2つ目は、1つ目同様タッチペンの途中部分を透明にした上で、下部に上向きカメラを設置し、上部の曲面ミラーで反射と屈折を利用し検出するというもの。曲面ミラーにより広視野角サポートが可能になると見込んでいる。

将来的に作成したい2種類のコンセプトアイデア