深層学習で卓球サーブの球筋を予測 打つ姿勢から着地点が分かる「FuturePong」、東工大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京工業大学の研究チームが開発した「FuturePong」は、卓球のプレイヤーがサーブする姿勢から、ボールがどこに着地するかを事前に予測する、深層学習を用いたリアルタイム卓球予測システムだ。

FuturePongは、サーブする人の姿勢からボールの着地点を予測するシステム

　卓球台の前面上部に設置した1台のRGBカメラでサーブするプレイヤーの動きを撮影し、そのキャプチャ画像から姿勢を推定。この姿勢からボールの着地点を予測する。ボールが打たれる前に、上部に設置したプロジェクターで卓球台に予想着地点を投影する。

システム構造の概要図

　深層学習ネットワークは、姿勢推定とボール予測の2つで構成。CNN（Convolutional Neural Network）で上半身の関節位置を推定し、それを基にLSTM（Long Short-Term Memory）でボールの着地点を予測する。

　姿勢推定は人物の姿勢画像データセットで、LSTMは卓球サーブのビデオクリップ300本を用いて事前に学習した。独自に作成したテストデータで精度評価を行なった結果、最大誤差8.9cmとなった。

FuturePongのネットワークアーキテクチャ

　実験では、卓球経験のほとんどない6名に、10年の卓球経験を持つプレイヤーのサーブを返してもらった。その結果、全員の反応速度が約0.2秒向上し、ボールを打つ成功率が2.5%上昇した。予測したボール位置を事前に可視化することが、サーブを返す練習に役立つ可能性を示したといえる。