漫画のシーンに合わせて“刺激”発生 炎の攻撃で熱、大きな「ゴゴゴ」には振動 NHK技研が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　日本放送協会放送技術研究所（NHK技研）の研究チームが開発した「マンガを視覚と触覚で楽しむ『ハプトコミック』」は、電子書籍ベースの漫画において、読んでいるシーンに応じて触覚（振動や温度）を提示するシステムだ。炎の攻撃では熱さを、オノマトペ（擬音語・擬態語）が大きなシーンでは振動を、タブレットを持った手に与えることでユーザーの読書体験を向上させる。

漫画を読む視線を追跡し、見たシーンに応じて振動や温度で触覚を提示するシステム

　近年、漫画を電子書籍で読むケースが多くなってきた。紙の本に比べ自由度が高い電子書籍は、さまざまな付加価値を付与するのに適しており、読書体験向上の技術も増えてきた。例えば、グロテスクな場面やゴキブリのような虫など、各ユーザーの「見たくないシーン」が登場する前に警告し、その予告からページ送りや目をつむって閲覧を回避するシステムがその一つだ。

　このような電子書籍で読む漫画の読書体験向上のための新たな技術として、NHK技研の研究者らは特定のシーンを見た注視に応じて、そのシーンに合った触覚フィードバックを読者に提示するシステムを提案する。

　触覚フィードバックはさまざまな提示方法が考えられるが、提案システムでは振動と温度の2種類を検討する。提示のタイミングは、オノマトペに振動を、シーンの気温変化や主人公の心情描写、火や氷を使った攻撃などに温度変化を適応する。

　プロトタイプの構成は以下の通りだ。視線追跡には視線計測装置、コンテンツ表示にはタブレットPCを使用する。振動提示には振動子とアンプを用い、タブレットPCから出力する音声信号を入力に駆動させる。温度提示にはペルチェ素子を用いる。タブレットPCからマイクロコンピュータモジュールに制御信号を有線で送信し、モータードライバーモジュールへ制御信号を入力することでペルチェ素子を駆動させる。

システムの外観。ディスプレイに映る絵　（C）あずまかなき

システムの概要図

　振動や温度を提示するユニットは、ユーザーがタブレットPCを自然に持った際に指が触れる背面の位置に装着した。これにより、ユーザーは自然な姿勢からタブレットPCを持った手を介して熱や振動を感じられる。

振動や温度を提示する触覚刺激提示ユニット

　刺激提示は、視点がそのシーンに一定時間（約0.3秒）とどまった際に提示する。温冷それぞれ強弱レベルを駆動電圧で4段階を用意した。振動子への入力にはその領域に適切だと考えられる効果音を使用した。

　振動を駆動させるシーンはオノマトペの書き文字（例：ゴゴゴ）のある領域や、衝撃が想定される領域（例：ボールを捕球するキャッチャーミット）、温度を提示する領域は温度提示が有効なイラスト（炎など）のあるシーンとした。これらは手動であらかじめ設定する。

振動が提示されるシーン　（C）あずまかなき

　著者グループでの動作検証の結果、おおむね設定した通りに見ている箇所に応じた触覚刺激を参加者に感じさせることができた。しかし一部の人からは、刺激を感じられない、意図していない刺激が提示される、刺激の提示が遅い、などの意見が得られた。

　このことから、読むスピードの違いによりそのシーンに滞在する時間が異なる問題、提示シーンの設定（領域の大小や位置）が個人の視線の動きに合っていない問題、読む姿勢が限定される問題など、いくつかの課題が確認された。

　今後は、これらの知見から、個人の読書スピードに応じて視点滞在時間の変更が行える機能の導入や、提示の適切なタイミングの実現による触覚刺激の精度向上、多人数の視線の軌跡データを取得し解析することで得られる提示シーンの決定などを取り入れたいとしている。

出典および画像クレジット: 東真希子，半田拓也，小峯一晃. “マンガを視覚と触覚で楽しむ「ハプトコミック」” 第 27 回日本バーチャルリアリティ学会大会論文集（2022年9月）