万博の落合館「null2」で使用した技術、筑波大学がコード公開 スマホだけで動く実写3Dアバターを作成：Innovative Tech

筑波大学 落合陽一研究室（Digital Nature Group）に所属する研究者らは、スマートフォンのカメラで自分の姿を撮影するだけで、わずか5分で写実的な3Dアバターを作成できる技術を提案した研究報告を発表した。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　筑波大学 落合陽一研究室（Digital Nature Group）に所属する研究者らが発表した論文「Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications」は、スマートフォンのカメラで自分の姿を撮影するだけで、わずか5分で写実的な3Dアバターを作成できる技術を提案した研究報告だ。スキャンからアバター作成まで、全てのプロセスがブラウザ上で、特にスマートフォンでも完結する。

スマートフォンでのスキャンからメッシュ構造の生成を経て、フォトリアリスティックな3Dアバターが作成され、さまざまなデバイスで表示可能

　これまでの3Dアバター生成技術は、複数のカメラを配置したスタジオ環境や、数時間に及ぶ前処理、高性能なGPUを搭載したコンピュータなど、一般ユーザーには手が届きにくい条件を必要としていた。また、処理を軽量化するためにメッシュベースの表現に変換する手法も存在するが、その過程で視覚的な品質が大幅に低下してしまうという問題があった。

　「Instant Skinned Gaussian Avatars」と名付けた今回の技術は、3D Gaussian Splattingと呼ばれる3D表現手法を用いている。これは無数の小さなガウス分布（スプラット）を空間に配置することで、写実的な3Dシーンを再現する技術。研究チームは、これらのスプラットを背景で動作する3Dメッシュの頂点に追従させることで、高品質を保ちながらリアルタイムでアニメーション可能なアバターシステムを実現した。

　処理の流れは、まず、既存の3Dスキャンアプリケーションである「Scaniverse」を使用して、被写体を3D Gaussian Splatting形式で撮影する。この際、被写体にはAポーズ（両腕を横に広げた姿勢）を取ってもらう。

　次に、不要な背景部分を自動的に除去し、ポーズ推定技術を用いて被写体の向きと四肢の角度を特定する。各スプラットを最も近いメッシュ頂点に割り当て、その相対的な変換情報を記録。この前処理全体がブラウザ上で約30秒で完了する。スキャンプロセスを含めると、アバターは約5分で完全に生成される。

　アニメーション時には、背景のメッシュを動かすだけで、割り当てられたスプラットが自動的に追従。関節周辺の伸縮や圧縮といった自然な変形もそのまま保持される。アニメーション中は、iPhone 13 Proで40〜50fpsで動作し、NVIDIA GeForce RTX 3060 GPUを搭載したラップトップで240fpsで動作する。

　実装面では、システム全体がJavaScriptとThree.jsを用いたブラウザアプリケーションとして構築されており、特別なソフトウェアのインストールは不要。これにより、スマートフォンやVRヘッドセット、通常のPCなど、あらゆるプラットフォームで即座に利用できる。背景メッシュには3万2000ポリゴンのVRM形式3Dアバターを使っており、既存のVRM対応アプリケーションとのシームレスな連携も可能になるだろう。

Webサイト上に3Dアバターを埋め込み可能

3Dアバターの操作もOK

　この研究は、2025年大阪・関西万博落合館とJSPS科研費の支援を受けて行われた。

Source and Image Credits: Kondo, Naruya, Yuto Asano, and Yoichi Ochiai. “Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications.” arXiv preprint arXiv:2510.13978（2025）.