　東京大学 Human & Environment Informatics Labの研究チームが開発した「Presenting Sense of Loud Vocalization Using Vibratory Stimuli to the Larynx and Auditory Stimuli」は、低音量で話す自分の声に対して、変換した疑似的な大声を体験できる手法だ。喉頭への振動刺激と大きな音を耳に提示する聴覚刺激を組み合わせ、発声感覚を拡張し、疑似的な大声発声を提示する。

　VR環境に大声を取り入れることは、例えば、やまびこを利用するなど、ユーザーの存在感を高め、VR体験をよりインタラクティブなものにする。また、大声を出す行為自体がストレス軽減や爽快感向上につながると期待できる。

　しかし、駅や道などの公共の場はもちろん、自宅でも大きな声を出すのは、社会的に困難なケースが多く、大きな声を出すと、喉やその周辺の組織を傷つけてしまう恐れもある。このように、大声はメリットがある一方で、いつでもできるものでもなく、一定のデメリットなしに無制限に使えるものでもない。

　そこで研究チームは、大声によるメリットは、大声を出す行為そのものだけでなく、大声を出したときの感覚や知覚によってももたらされると考え、実際に大声を出していないのに大きな声を出しているように感じる体験を「疑似な大声体験」と定義し、物理的・社会的に大きな発声が困難な状況下でも、大声のメリットをデメリットなく発揮できることを目指す。

　この研究では、喉頭部に加える振動刺激と聴覚刺激を併用することで、大きな発声の感覚を提示できるのではと考え、この2つの刺激が発声感覚にどのような影響を与えるかを明らかにするため、ユーザー調査を実施した。

　大声の発声感覚への期待を有しつつ実際には静かに発声（囁き声または小声発声）している被験者に、喉頭への振動刺激と聴覚刺激を提示する。喉頭振動は発声時に特有であり、発声感覚に強く寄与すると考えられている。大きな声を出すと普段よりはるかに大きな音が聞こえるためだ。

システムの概要

　音声提示装置には、ノイズキャンセリングヘッドフォンを使用。大きな声を被験者の耳に届けるために、定位を考慮しない約80dBの音圧で4秒間発声する音を提示した。

　声帯振動の周波数は、声帯の長さや硬さなどのパラメータの個人差によって変化するため、被験者の自声の波形を使う。発話時に発生する振動は音声波形に近く、振動モジュールからの刺激でこれらの波形をほぼ再現できると予備実験で分かった。

　よって、発声音量の変化による声質の変化も考慮し、被験者自身の約80dBでの大声を事前に録音し、録音音声を振動刺激と聴覚刺激として使った。提示は、喉頭の左右に1つずつボイスコイル型振動モジュールを設置し、ベルトを首に巻きつけて固定した状態で行った。

振動提示装置

　実験の結果、振動刺激では、大声発声感と爽快感の評価が、振動刺激なしのベースラインのスコアより上昇し、感覚の増大が示された。実際の声と提示する大きな発声との違いにより不快感が生じるが、振動を提示することでそちらに注意が向き、この不快感のレベルが減少することが示された。

　被験者が実際に小声を発声している条件では、ささやき声を発声している条件に比べ、大声発声感や聴取した音声の自己主体感、爽快感のスコアが上昇した。小声発声は大声発声とは明らかに異なる音を発するにもかかわらず、被験者は提示された音を違う人が話した声ではなく、自分の声として感じていた。振動や聴覚刺激を単独で提示するのではなく、最適な振動刺激と聴覚刺激を組み合わせて提示した場合、大声発声感は有意に増加した。

Source and Image Credits: Yuki Shimomura, Yuki Ban, and Shin’ichi Warisawa. 2021. Presenting Sense of Loud Vocalization Using Vibratory Stimuli to the Larynx and Auditory Stimuli. In Proceedings of the 27th ACM Symposium on Virtual Reality Software and Technology (VRST ’21). Association for Computing Machinery, New York, NY, USA, Article 33, 1-10. DOI:https://doi.org/10.1145/3489849.3489891

ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」　1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。
VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発　風源なしで温冷風を再現
　東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。
実世界に溶け込むCG　空中に浮かずに配置し、光の当たり具合も適切に調整
オーストリアのグラーツ工科大学とVRVis Research Center、ニュージーランドのオタゴ大学の研究チームは、実世界に溶け込むようにバーチャルオブジェクトをレンダリングする技術を開発した。
無表情だと誤解されがちな人向け「人工眉毛付きメガネ型デバイス」　7種類の感情を眉毛で支援
公立はこだて未来大学などの研究チームは、人工眉毛の形状が多様に変化することで表情を拡張する眼鏡型ウェアラブルデバイスを開発した。
VTuberの動きをオーバーリアクションに自動変換　中の人の表情などをアニメーションに反映
米パデュー大学の研究チームは、バーチャルYouTuber（VTuber）の配信において、ストリーマーの実際の動きよりも表現豊かな動きとして拡張し出力するシステムを開発。ストリーマーのトラッキングから得た音声や表情などに基づいてアニメーション生成する。