YouTuber向けカメラマンロボット 出演者の動きや話をAIで理解、最適なカメラワークを実行：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　カナダのトロント大学とシンガポールマネジメント大学に所属する研究者らが発表した論文「Stargazer: An Interactive Camera Robot for Capturing How-To Videos Based on Subtle Instructor Cues」は、出演者の動きや話の内容に応じて自律的に動くカメラマンロボットを提案した研究報告である。

カメラマンロボットでスケートボードのメンテナンスに関するハウツービデオを収録する参加者

出演者の動きや話の内容に応じたカメラワークを自律的に行う

　カメラマンロボットは、7つの独立したモーターが自律的に動作するロボットアームに1台のカメラを取り付け、柔軟なカメラワークを実行する。また、RGBカメラや深度センサー（Kinect v2）が検知した出演者の動きと、ワイヤレスマイクで検知した出演者のスピーチをカメラワークに生かす。

　カメラの位置調整は、出演者の微妙な動きや話す内容に基づいて行われる。例えば、机上でアイテムを紹介する動画の場合、出演者が両手を使ってアイテムを操作している場合には、自律的にクローズアップが行われる。出演者がアイテムを手に持ちながら顔の横で話す場合には、出演者とアイテムがフレーム内に収まるように調整する。出演者が意図的にアイテムを指さして注目を引くような場合、カメラはそれに対応して位置を調整する。

出演者の頭部や手を追跡し、適切な位置にカメラを持っていく

　話す内容に基づいた移動では、例えば、出演者が視聴者に「AをBに入れるところを上から見てください」と言った場合、システムはその要求に応えて、ハイアングルからの映像をフレームに収め、視聴者によく見えるように調整する。

　出演者のスピーチは、まずマイクで録音し、次に音声認識システム「Microsoft Azure Speech-to-Text」を使用してテキストに変換する。その後、得たテキストは大規模な言語モデルであるGPT-3へ送り、出演者のカメラに対する意図を理解するために訓練する。

　このように出演者は、表向きは視聴者に向けたジェスチャーや発話で、カメラフレームやアングルを変更するよう合図できる。

　実験では、プロ映画監督2人を含む6人の参加者を対象に、カメラマンロボットを使用した撮影が満足いくものとなるかをユーザー調査した。その結果、参加者は練習セッションを受けた後、2テイク以内に動画の収録を完了した。参加者全員が作成した動画の品質に満足していることが確認できた。

カメラロボットで撮影した参加者とのタイムライン。タイムラインは、ショットの種類やカメラアングル、カメラフレーミング、カメラの動きで色分け

　今回は初期研究として、机上でのチュートリアル動画を紹介することに焦点を当てている。将来的には、より広範な環境でのタスクをさまざまな角度から撮影するために、カメラドローンや車輪付きロボットの可能性も検討していきたいと考えている。

Source and Image Credits: Jiannan Li, Mauricio Sousa, Karthik Mahadevan, Bryan Wang, Paula Akemi Aoyagui, Nicole Yu, Angela Yang, Ravin Balakrishnan, Anthony Tang, and Tovi Grossman. 2023. Stargazer: An Interactive Camera Robot for Capturing How-To Videos Based on Subtle Instructor Cues. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems（CHI ’23）. Association for Computing Machinery, New York, NY, USA, Article 800, 1-16. https://doi.org/10.1145/3544548.3580896