意図しないタッチを98％以上で判別 常に指を置いたままタイピングできるタッチスクリーン：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の清華大学の研究チームが開発した「TypeBoard: Identifying Unintentional Touch on Pressure-Sensitive Touchscreen Keyboards」は、意図しないタッチを防ぐ感圧式タッチスクリーンキーボードだ。

　タイピング時の入力ミスが多いタッチスクリーンの意図しないタッチを機械学習で識別し、入力の邪魔にならないように排除することで入力速度と正確性を向上させる。これによって、テキスト入力していない一瞬の休みも、常にタッチスクリーンキーボード上に指を置けてスタンバイの状態を自然な形で保てる。

赤色の丸が意図しないタッチ、緑色の丸が意図したタッチ

　調査によると、タブレット端末などのタッチスクリーンキーボードの入力は、100回のキー入力ごとに40.83回の意図しないタッチを誤認するという。その結果、入力速度と正確なタイピングの精度の低下が見られ、物理キーボードにその点で優位に立てない。

　タッチスクリーンキーボードと、物理キーボードでは2つの点で大きく異なる。1つ目は、タイピングしていないときにキーボード上に指を置いておけない。タイピングの休憩時は、物理キーボードの場合は指をキー上に軽く乗せて置けるが、タッチスクリーンキーボードの場合は入力対象になるため置いておけない。

　2つ目は、どこにどのキーがあるかを指で探索できない。物理キーボードだとタッチタイプが容易のように、指で触れるだけでキーの形や位置からそれぞれの場所が分かるが、タッチスクリーンキーボードは全てがフラットなため分からない。

　このような差から、タッチスクリーンでのタイピングは物理キーボードのタイピングよりも速度と正確性で劣る。研究では、この差を埋めるための方法として、意図しないタッチを入力として判断しないことと、触角フィードバックを与えることの2点で挑む。

　まずは意図しないタッチを防ぐこと。ここでいう意図しないタッチとは、単語を入力としないタッチを指す。これにはタッチスクリーンキーボード内に圧力センサーを敷き詰める必要がある。また意図しないタッチが意図するタッチかを分類するための機械学習モデルも必要とする。実験では、タブレット内ではなく別途専用の感圧式タッチスクリーンキーボードを作成した。

実験セットアップ時の感圧式タッチスクリーンキーボード

　訓練データ用に、ユーザーのタイピング動作を収集した。データセットには、71.01％の意図的なタッチと28.99％の意図的ではないタッチで構成された、1万3789回のタッチが含まれる。そこから考えられる意図しないタッチの種類を導き出し、それら頻度をパーセンテージで示した。

考えられる意図しないタッチの種類

　次はキーに触覚のランドマークを付加すること。今回は各キー上にステッカーをそれぞれ貼るアイデアを採用した。ステッカーの微妙なくぼみにより、目視することなく各キーを探索できる。その一方で、従来のフラットなタッチスクリーンの良さを消すというトレードオフが発生した。

　今後はこのトレードオフを緩和するため、例えば、超音波や電気振動などで触覚ランドマークのシミュレートをしたいという。ユーザーが入力を始めるとキーが少し膨らむ、デバイスそのものが変形するアプローチもありだという。

（左）通常のタッチスクリーンキーボード、（中央）意図しないタッチを識別し常に手を置けるようになったタッチスクリーンキーボード、（右）各キーにステッカーを貼り触覚フィードバックを付加したタッチスクリーンキーボー

　実験では、既存のタブレット内ではなく、別途専用の感圧式タッチスクリーンを作成し評価した。最初に、意図しないタッチを識別するモデルだけを導入したタイピングテストの結果は、タイピングエラーを軽減し、物理キーボードには及ばないものの、入力速度が11.78％向上した。

　次に行った、ステッカーの触覚ランドマークを加えたバージョンでは、さらに入力速度が8.51％向上し、通常のタッチスクリーンキーボードと比べ21.18％向上した。

Source and Image Credits: Yizheng Gu, Chun Yu, Xuanzhong Chen, ZHUOJUN LI, and Yuanchun Shi. 2021. TypeBoard: Identifying Unintentional Touch on Pressure-Sensitive Touchscreen Keyboards. The 34th Annual ACM Symposium on User Interface Software and Technology. Association for Computing Machinery, New York, NY, USA, 568-581. DOI:https://doi.org/10.1145/3472749.3474770