Apple、ジェスチャー命令や空間手描きを可能に Vision Frameworkの新機能を紹介：WWDC 2020

[MACお宝鑑定団]

　Appleは、WWDC 2020で「Detect Body and Hand Pose with Vision」を公開し、AppleのComputer Vision Frameworks担当マネジャーであるブレット・キーティング氏は、カメラで自撮りする場合、手でOKを示す形を作るとセルフタイマーが発動したり、手のポーズに合わせて変わる「ハンド絵文字」などが利用可能になると説明している。

手のジェスチャーでカウントダウン自撮り

　これらは、顔認識で使用するVision Frameworkのクラス「VNImageRequestHandler」で利用可能になる。

　このポーズ認識を使用することで、ある決まったポーズをとった瞬間だけ写真撮影ができたり、決められたポーズに合致した場合のみ写真撮影をすることで連続写真も撮影できると説明している。

手のポーズで絵文字をオーバーレイ

　FaceTimeカメラを使用し、画面に触れずに手描きしたりできる「Hand Pose Detection」も利用可能になる。

指で空間に手描きできる

　多数の手がある場合、一番手前の手からいくつまでの手を認識するかも決められる。

　Create MLとVision Frameworkを組み合わせた場合、ランドマーク数は最大19カ所とARKitと同じだが、オフラインでも解析可能で、iOSおよびiPadOSの背面カメラを使用したライブモーションキャプチャーだけでなく、macOS、tvOS環境下のカメラであれば使用可能になるという汎用性がある。

ARKitとの違いを説明

　サンプルコード「Building a Feature-Rich App for Sports Analysis」を使用することで、iOS 14のVisionとCore MLで利用可能ないくつかの新機能を確認できる。

サンプルコード