署名時の手の動きから、本人か偽物かを判定 スマホ内蔵マイクとスピーカーで音を分析：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国の上海交通大学の研究チームが開発した「Smartphone-based Handwritten Signature Verification using Acoustic Signals」は、スマートフォンに内蔵のマイクとスピーカーによる音響信号を利用して、手書き署名時の手の動きを捉える自動検証システムだ。マイクから発して手に跳ね返った音響信号を記録し分析することで、手の動作を識別する。

書類にペンで署名する際に、スマートフォンを近づけ音響で手の動きを捉える

　手書きの署名は、古くから便利な認証手段として広く使われているが、偽造の署名で悪用されるケースも多い。他のバイオメトリクス（顔、指紋、虹彩など）とは異なり、署名は署名者の現在の身体的・精神的状態（感情、疲労、酩酊など）の影響を受ける。そのため、署名検証では、個人間のばらつきには敏感であるが、個人内のばらつきには鈍感である必要があり、これはパターン認識の難しい課題という。

　従来の手書き署名は、紙にペンで書くオフライン式に加え、最近ではセンサー付きペンや指でタッチパネルに書くオンライン式も多い。研究では、オフラインとオンライン手描き署名検証の拡張版として、署名時に聞こえない音響信号で捉えた手の動作パターンを複合することで、手書き署名のセキュリティを強化する。

署名時の手の動作も個人認証の対象となりセキュリティが強化される

　「SonarSign」と呼ぶこの手法は、ハードウェアの変更やウェアラブルデバイスの追加なしに、スマートフォン内蔵スピーカーとマイクのみを利用する。人には聞こえない音響信号を活用するため、通常の手書き署名中に気が付かれずに強化できる。さらに、可聴域外の音響信号を使用しているため、オフィスやレストランなどのノイズの多い環境でも影響を受けない。

　システムでは、スマートフォンを利用して耳に聞こえない音響信号（18〜22kHz）を送信し、手書きの動作によって反射されるエコー信号を記録し、それぞれのCIR（Channel impulse response）を深層学習含むアーキテクチャで推定することで、手書き署名の行動特性と、手や腕などの身体特性を捉え、手書き署名の検証を行う。

システムのアーキテクチャ

　実際の使用シナリオとしては、例えば、レストランでクレジットカードのサインを紙にペンで書く場合、その横にスマートフォンを近づけ、捉えたエコー信号を認証センターに送信し、手書き署名のわずかな動きによる信号の変化を分析することで、署名の検証を行う。オンラインでも同様の効果が得られる。実験では、見知らぬユーザーに対しても、低遅延で平均AUC 98.02％、EER 5.79％を達成したという。

Source and Image Credits: Run Zhao, Dong Wang, Qian Zhang, Xueyi Jin, and Ke Liu. 2021. Smartphone-based Handwritten Signature Verification using Acoustic Signals. Proc. ACM Hum.-Comput. Interact. 5, ISS, Article 499 (November 2021), 26 pages. DOI:https://doi.org/10.1145/3488544