ITmedia NEWS > STUDIO >
ニュース
» 2020年06月26日 14時30分 公開

WWDC 2020:Apple、ジェスチャー命令や空間手描きを可能に Vision Frameworkの新機能を紹介

ARKitにも類似の機能があるが、それとはどこが違うのか。

[MACお宝鑑定団]
MACお宝鑑定団

 Appleは、WWDC 2020で「Detect Body and Hand Pose with Vision」を公開し、AppleのComputer Vision Frameworks担当マネジャーであるブレット・キーティング氏は、カメラで自撮りする場合、手でOKを示す形を作るとセルフタイマーが発動したり、手のポーズに合わせて変わる「ハンド絵文字」などが利用可能になると説明している。

photo 手のジェスチャーでカウントダウン自撮り

 これらは、顔認識で使用するVision Frameworkのクラス「VNImageRequestHandler」で利用可能になる。

 このポーズ認識を使用することで、ある決まったポーズをとった瞬間だけ写真撮影ができたり、決められたポーズに合致した場合のみ写真撮影をすることで連続写真も撮影できると説明している。

photo 手のポーズで絵文字をオーバーレイ

 FaceTimeカメラを使用し、画面に触れずに手描きしたりできる「Hand Pose Detection」も利用可能になる。

photo 指で空間に手描きできる

 多数の手がある場合、一番手前の手からいくつまでの手を認識するかも決められる。

 Create MLとVision Frameworkを組み合わせた場合、ランドマーク数は最大19カ所とARKitと同じだが、オフラインでも解析可能で、iOSおよびiPadOSの背面カメラを使用したライブモーションキャプチャーだけでなく、macOS、tvOS環境下のカメラであれば使用可能になるという汎用性がある。

photo ARKitとの違いを説明

 サンプルコード「Building a Feature-Rich App for Sports Analysis」を使用することで、iOS 14のVisionとCore MLで利用可能ないくつかの新機能を確認できる。

photo サンプルコード

Copyright (C) 1998 Mac Treasure Tracing Club. All rights reserved.