Innovative Tech
タッチペンに魚眼カメラ搭載、両手の動きを検出して操作に応用 Preferred Networksら開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
AIベンチャーのPreferred Networks（PFN）とカナダ・ウォータールー大学による研究チームが開発した「PenSight」は、タッチペン上端に魚眼カメラを取り付け、両手のジェスチャーを認識できるようにしたシステムだ。
（a）タッチペン上部に下向きの魚眼カメラを備えたプロトタイプ（b）カメラでキャプチャされた広角ビュー（c）カメラはタッチペンを握った手と、もう一方の手の姿勢を検出する
魚眼カメラをタッチペンの上部に取り付けることで、タッチペンを通常利用しながら両手のポジションを検出し、ジェスチャー操作を可能にする。
プロトタイプは、180度魚眼レンズを備えた単一のカメラモジュールと、3Dプリンタで印刷した接続部品で構成する。
（a）Apple Pencil用のサイズに3Ｄプリンタで印刷した接続部品とセットしたカメラ（b）タッチペンの直径に合わせるため、リング横のネジを用いる
手の位置と形状の予測には深層学習を用いて分類し、手とペン間の相対距離を決定するための回帰、そして指先を識別するためのキーポイント検出を行う。
このシステムでは、タッチペンを使用する際の拡張機能として多様な操作が行える。例えば、タッチペンを持つ手・持たない手でのジェスチャー入力、環境内の物理コンテンツの検出、タブレットグリップの検出など、さまざまな組み合わせで操作が可能だ。
PenSightを利用したさまざまなジェスチャー入力の例
実際にPenSightを使用した例（a）タッチペンを持っていない方の手でスケッチの補助をする（b）タッチペンを持っている人差し指でタブレット外の写真を指して検索する（c）指を引いてパラメーター操作する（d）タッチペンを持っていない方の指を動かしてマップ操作の補助をする
今回のプロトタイプで取り付けたカメラは、USBケーブルを用いてコンピュータと接続しており、理想的な形とはいえない。ワイヤレスカメラにすると、全体の重量や大きさとのトレードオフになるため、無線化は今後の課題としている。
研究チームは、この課題を解決するための将来に向けたコンセプトアイデアを2つ提案している。
1つ目は、タッチペン上部に視野角180度の広角レンズカメラを2台上下に向けて搭載するアイデア。今回のプロトタイプと違い、タッチペンの途中を透明ケースに収納し距離を確保しており、そのためキャプチャ時によけいな接続部品が映り込まない。
2つ目は、1つ目同様タッチペンの途中部分を透明にした上で、下部に上向きカメラを設置し、上部の曲面ミラーで反射と屈折を利用し検出するというもの。曲面ミラーにより広視野角サポートが可能になると見込んでいる。
将来的に作成したい2種類のコンセプトアイデア
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
アンケート結果をダウンロードしたら他社の従業員情報が…… ベネフィット・ワン、1万3460人分漏えい
-
2
ドラッグ＆ドロップ操作ミスで……TOPPAN、損保ジャパン契約者17万人分のデータを他社に誤送付
-
3
ドコモ、料金の支払い遅れで385円の手数料 27年2月請求分から
-
4
免許証の悪用防ぐ届出集中、CIC・JICCで手続き遅延 タイムズカー情報流出直後に
-
5
タイムズカー、退会者の免許証画像も「7年」保存していた理由 パーク24に聞いた
-
6
「写真で一言 ボケて」きょう午後8時にサービス終了 18年・1億超のボケに幕
-
7
楽天モバイルのauローミング縮小 マップ公開、ほぼ半減エリアも……さらに「順次縮小」へ
-
8
セイコーマート、会員のほぼ半数に当たる情報漏えい 約57万人分
-
9
フードデリバリー「menu」きょう午後8時にサービス終了 公式X「心より感謝」
-
10
“期限切れクレカ”を蘇らせ、不正にタッチ決済する「ゾンビカード攻撃」 米研究チームが検証
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR