Innovative Tech

バックスペースを多く使うとネガティブ状態？　スマートフォンの操作から感情やストレスを予測

　スイスのETH ZurichとオーストラリアのBond Universityによる研究チームが発表した「Affective State Prediction from Smartphone Touch and Sensor Data in the Wild」は、スマートフォンのキーボードをタイピングするパターンから操作したユーザーの感情状態やストレスなどを予測するモデルだ。

　研究では、スマートフォンのキー入力時のタッチイベントとIMU（慣性計測ユニット）のデータから感情を予測するモデルを提案する。抽出したタッチデータとIMUデータからそれぞれを2次元ヒートマップに変換し、これらヒートマップから感情状態やストレスを予測するように分類器を学習する。

　学習には、82人の参加者から10週間かけて収集したデータセットを用いた。ユーザーにはスマートフォンを使用している途中に、自己申告によるアンケートを一定時間ごとに行ってもらった。自己申告した時点からさかのぼって80キーストロークを、30秒間のIMUデータをその自己申告の評価対象とした。

　自己申告の項目には、覚醒度合い、ポジティブな度合い、優位性、感情（幸せ、怒り、悲しみなど）、ストレス度合いなどが含まれた。合計3万83件のデータを収集した。

　このように収集したデータからは、例えばネガティブな感情を体験しているときはバックスペースキーへのタップ数が多くなる、土日はポジティブで覚醒度が低く、反対に月火はネガティブで覚醒度が高いなどの分析結果が得られた。

　学習したモデルを評価した結果、どちらのヒートマップも感情の予測において高い精度を示した。IMUのヒートマップは覚醒度の予測に最も優れた性能を示し、タッチデータのヒートマップはポジティブな度合いと優位性の予測に最も優れた性能を示した。

　またタッチデータのヒートマップを用いず、IMUデータのヒートマップのみを用いても同様のパフォーマンスを示し、継続してデータ収集する中でプライバシーの侵害を抑えた手法も示唆した。さらに参加者ごとにネットワークを微調整することで、大幅な性能向上も達成した。

　これら予測された感情を利用したアプリとして、ヘルスケアを促す仕組みを取り入れたり、ユーザーに応じたレコメンド機能を追加するなどが考えられるだろう。今回はタイピングを行うアプリに限定されているため、動画などのタイピングを不要とする他のアプリを使用しているときには、さらなる検証が必要となる。

この記事の著者

関連記事

• 

  指に貼れるバンドエイド型発電機　タイピングや睡眠時に電気を生成

• 

  伸縮性がある伸びる電池、服に印刷してスマートウォッチを充電　韓国の研究チームが開発

• 

  「止まっているはずなのに、動いている」と感じるヘルメット型装置、神戸大が開発

• 

  心臓の音で個人認証、精度95％以上　音のリズムやピッチを分析

• 

  Wi-Fiで果物の中身を測定できる「Wi-Fruit」　切らずに腐っているか判定可能