タッチペンに魚眼カメラ搭載、両手の動きを検出して操作に応用 Preferred Networksら開発:Innovative Tech
両手ジェスチャーを、スタイラスから検出できるとしたら、どのような応用が可能だろうか。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
AIベンチャーのPreferred Networks(PFN)とカナダ・ウォータールー大学による研究チームが開発した「PenSight」は、タッチペン上端に魚眼カメラを取り付け、両手のジェスチャーを認識できるようにしたシステムだ。
魚眼カメラをタッチペンの上部に取り付けることで、タッチペンを通常利用しながら両手のポジションを検出し、ジェスチャー操作を可能にする。
プロトタイプは、180度魚眼レンズを備えた単一のカメラモジュールと、3Dプリンタで印刷した接続部品で構成する。
手の位置と形状の予測には深層学習を用いて分類し、手とペン間の相対距離を決定するための回帰、そして指先を識別するためのキーポイント検出を行う。
このシステムでは、タッチペンを使用する際の拡張機能として多様な操作が行える。例えば、タッチペンを持つ手・持たない手でのジェスチャー入力、環境内の物理コンテンツの検出、タブレットグリップの検出など、さまざまな組み合わせで操作が可能だ。
実際にPenSightを使用した例(a)タッチペンを持っていない方の手でスケッチの補助をする(b)タッチペンを持っている人差し指でタブレット外の写真を指して検索する(c)指を引いてパラメーター操作する(d)タッチペンを持っていない方の指を動かしてマップ操作の補助をする
今回のプロトタイプで取り付けたカメラは、USBケーブルを用いてコンピュータと接続しており、理想的な形とはいえない。ワイヤレスカメラにすると、全体の重量や大きさとのトレードオフになるため、無線化は今後の課題としている。
研究チームは、この課題を解決するための将来に向けたコンセプトアイデアを2つ提案している。
1つ目は、タッチペン上部に視野角180度の広角レンズカメラを2台上下に向けて搭載するアイデア。今回のプロトタイプと違い、タッチペンの途中を透明ケースに収納し距離を確保しており、そのためキャプチャ時によけいな接続部品が映り込まない。
2つ目は、1つ目同様タッチペンの途中部分を透明にした上で、下部に上向きカメラを設置し、上部の曲面ミラーで反射と屈折を利用し検出するというもの。曲面ミラーにより広視野角サポートが可能になると見込んでいる。
関連記事
- 11キーを両親指で操作する新キーボード配列「Senorita」 カリフォルニア大学が開発
2段で11キーというソフトキーボードは、視力障害のある人にも使いやすい。 - 超音波ブレスレットで盗聴を妨害 シカゴ大など開発
ちょっと大きめのブレスレットだが、盗聴を邪魔する機能がある。 - 口パクで音声入力、喉に小型センサーで 東大とソニーCSLが技術開発
視聴覚障害者のための触診リップリーディングから発想を得た。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.