Innovative Tech

「タッチ入力できないモニター」にマウスを押し当て操作する技術、中国の研究チームが開発

公開 2022年05月17日 08時02分

更新 2022年05月17日 10時48分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　上海科技大学の研究チームが開発した「Enabling Tangible Interaction on Non-touch Displays with Optical Mouse Sensor and Visible Light Communication」は、タッチ操作できないモニターにマウスを押し当て、モニターに表示されているデジタルコンテンツを操作するシステムだ。

マウスをモニターに押し当てコンテンツを操作している様子

　システムは通常のディスプレイとコントローラーで構成される。ここでいうコントローラーとは、市販の光学式マウス、または内部に光学式マウスセンサーを備えたカスタマイズされたワイヤレストークンを指す。

　コントローラーをディスプレイ上に置くことで、それらの位置と方向をリアルタイムに追跡する。ユーザーはこれらを利用してディスプレイに映るデジタルコンテンツを操作できる。

システムはモニターと市販の光学式マウス、もしくは光学式マウスセンサーを内蔵したトークンで構成される

　このインタフェースの利点は2つある。1つ目は、タッチスクリーンと非タッチスクリーンのどちらでも動作すること。2つ目は、静電容量式タッチスクリーンベースとは異なり、接地の問題はなく、ユーザーは制御するためにコントローラーをつかみ続ける必要はないこと。さらに光学式マウスは低価格で、他にハードウェアを変更する必要がないためセットアップが容易だ。

　どのように機能するか説明する。光学式マウスセンサーは高速で低解像度のカメラである。作業面の画像を連続的にキャプチャーし、画像の違いを比較する方法で動きを感知する。

　コントローラーをディスプレイに配置すると、そのマウスセンサーが表示コンテンツをキャプチャーする。例えば、画面が白く表示されている場合、キャプチャーした画像は明るくなる。黒く表示されている場合、画像は黒くなる。

　ディスプレイ上ではピクセルみたいに小さな長方形領域にグリッドとして分割する。各領域の光の強度の変化は異なるため、強度変化の頻度を数えることにより、ディスプレイ上の位置が予測できる。コントローラーの位置は受信した光信号に基づいて推測されるわけだ。

　変調した表示コンテンツのちらつきの問題を減らすために、高リフレッシュレートの画面と空間ドメインパターンを使用している。

コントローラーがどこの位置にいるか追跡する仕組み

　次に、コントローラーの向きを追跡する方法を説明する。マウスセンサーは光の強度の変化だけでなく、ディスプレイの微細な構造もキャプチャーできる。ディスプレイはRGBピクセルの巨大な配列であり、ピクセルは暗い部分である境界によって分離されている。コントローラーが回転すると同時に、キャプチャー中のこの境界も回転するため、このギャップから向きが予測できる。

　実験ではデスクトップPCと240Hzモニターで実装した。追跡性能は、画面の表面がどれだけ分割されるかによって決まる。今回は画面を1000を超えるグリッドに分割した。これにより1平方?の精度が得られた。追跡性能を測定した結果、向きの誤差は2度以内を示し、測位遅延は平均0.41秒を示した。

Source and Image Credits: Yihui Yan, Zezhe Huang, Feiyang Xudu, and Zhice Yang. 2022. Enabling Tangible Interaction on Non-touch Displays with Optical Mouse Sensor and Visible Light Communication. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 109, 1-14. https://doi.org/10.1145/3491102.3517666

印刷する