指の動きまでアバターに反映 AR用SDK「ToF AR」ソニーセミコンダクタが一般公開
手や指の動きまでスムーズに描写できるAR用SDK「ToF AR」をソニーセミコンダクタソリューションズが一般公開した。
ソニーセミコンダクタソリューションズは6月15日、スマートフォンに搭載されたセンサーの深度情報と開発用ライブラリの組み合わせにより、没入間のあるアプリ開発を容易にするソフトウェア開発キット(SDK)「ToF(Time of Flight)AR」を、開発者向けに公開した。手や指の動きまでスムーズに描写できるのが特徴。没入感のあるアプリ開発を、Unity上で行える。
ソニーグループR&Dセンターと共同開発した独自のAI処理技術を採用。スマートフォンやタブレットに搭載されたToFセンサー・Lidarセンサーの深度情報と開発用ライブラリを組み合わせ、モバイルARアプリを簡単に開発できる。
ハンドジェスチャー機能、身体の動きを認識してなめらかに描写する機能、3Dデータを作成するモデリング機能、深度情報を元に周りの環境を構築するメッシュ処理機能などを実現するアプリ開発が可能だ。
ハンドジェスチャーの場合、関節の認識により正確なジェスチャートラッキングでアバターコントロールが可能。途中で指が隠れても、ハンドサインや空中描画を行えるという。
ARを活用したモバイルゲームをはじめ、服や靴のサイズやデザインが自分と合うか確認できるバーチャル試着、部屋を計測して寸法に合った家具を選べるバーチャルレイアウト、空間に描いたイラストや文字を周りの空間と一体化させ、他の人にシェアする新感覚コミュニケーションなど、さまざまな用途での活用が期待できるとしている。
このSDKは、ソニー・ミュージックエンタテインメントと中国bilibili動画が共同で運営する「バーチャルシンデレラプロジェクト」の配信番組などで活用される予定だ。
関連記事
- ソニー、半導体事業も分社化 「ソニーセミコンダクタソリューションズ」設立
ソニーが半導体事業を分社化し、来年4月1日付で新会社「ソニーセミコンダクタソリューションズ」を設立する。 - VRヘッドセットのみで、全身3Dアバターの動きを生成 Microsoftが開発
MicrosoftのMixed Reality & AI Labの研究チームは、VR HMD(ヘッドマウントディスプレイ)から得られる頭部と手部のトラッキングデータから、着用者の全身の動きを3次元で表現する手法を開発した。 - 「頭をなでる」「ビンタ」「ハグの拒否」などアバター同士の接触を滑らかにするVR技術、東工大が開発
東京工業大学長谷川研究室の研究チームは、バーチャル空間でアバター同士もしくは3Dオブジェクトとの接触の際に、両者が自然な動きで表現できる技術を開発した。頭をなでる、ハグするなどの動きを滑らかなリアクションで表現する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.