ITmedia NEWS > 科学・テクノロジー >

バックスペースを多く使うとネガティブ状態? スマートフォンの操作から感情やストレスを予測Innovative Tech

» 2022年04月18日 08時00分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 スイスのETH ZurichとオーストラリアのBond Universityによる研究チームが発表した「Affective State Prediction from Smartphone Touch and Sensor Data in the Wild」は、スマートフォンのキーボードをタイピングするパターンから操作したユーザーの感情状態やストレスなどを予測するモデルだ。

スマートフォンのキー入力時のデータから、2次元のヒートマップを抽出し、ユーザーの感情状態などを分類する

 研究では、スマートフォンのキー入力時のタッチイベントとIMU(慣性計測ユニット)のデータから感情を予測するモデルを提案する。抽出したタッチデータとIMUデータからそれぞれを2次元ヒートマップに変換し、これらヒートマップから感情状態やストレスを予測するように分類器を学習する。

 学習には、82人の参加者から10週間かけて収集したデータセットを用いた。ユーザーにはスマートフォンを使用している途中に、自己申告によるアンケートを一定時間ごとに行ってもらった。自己申告した時点からさかのぼって80キーストロークを、30秒間のIMUデータをその自己申告の評価対象とした。

 自己申告の項目には、覚醒度合い、ポジティブな度合い、優位性、感情(幸せ、怒り、悲しみなど)、ストレス度合いなどが含まれた。合計3万83件のデータを収集した。

 このように収集したデータからは、例えばネガティブな感情を体験しているときはバックスペースキーへのタップ数が多くなる、土日はポジティブで覚醒度が低く、反対に月火はネガティブで覚醒度が高いなどの分析結果が得られた。

(A)80キーストロークから抽出したヒートマップ、(B)30秒間のIMUデータから抽出したヒートマップ

 学習したモデルを評価した結果、どちらのヒートマップも感情の予測において高い精度を示した。IMUのヒートマップは覚醒度の予測に最も優れた性能を示し、タッチデータのヒートマップはポジティブな度合いと優位性の予測に最も優れた性能を示した。

 またタッチデータのヒートマップを用いず、IMUデータのヒートマップのみを用いても同様のパフォーマンスを示し、継続してデータ収集する中でプライバシーの侵害を抑えた手法も示唆した。さらに参加者ごとにネットワークを微調整することで、大幅な性能向上も達成した。

 これら予測された感情を利用したアプリとして、ヘルスケアを促す仕組みを取り入れたり、ユーザーに応じたレコメンド機能を追加するなどが考えられるだろう。今回はタイピングを行うアプリに限定されているため、動画などのタイピングを不要とする他のアプリを使用しているときには、さらなる検証が必要となる。

Copyright © ITmedia, Inc. All Rights Reserved.