Innovative Tech

万博の落合館「null2」で使用した技術、筑波大学がコード公開　スマホだけで動く実写3Dアバターを作成

　筑波大学 落合陽一研究室（Digital Nature Group）に所属する研究者らが発表した論文「Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications」は、スマートフォンのカメラで自分の姿を撮影するだけで、わずか5分で写実的な3Dアバターを作成できる技術を提案した研究報告だ。スキャンからアバター作成まで、全てのプロセスがブラウザ上で、特にスマートフォンでも完結する。

　これまでの3Dアバター生成技術は、複数のカメラを配置したスタジオ環境や、数時間に及ぶ前処理、高性能なGPUを搭載したコンピュータなど、一般ユーザーには手が届きにくい条件を必要としていた。また、処理を軽量化するためにメッシュベースの表現に変換する手法も存在するが、その過程で視覚的な品質が大幅に低下してしまうという問題があった。

　「Instant Skinned Gaussian Avatars」と名付けた今回の技術は、3D Gaussian Splattingと呼ばれる3D表現手法を用いている。これは無数の小さなガウス分布（スプラット）を空間に配置することで、写実的な3Dシーンを再現する技術。研究チームは、これらのスプラットを背景で動作する3Dメッシュの頂点に追従させることで、高品質を保ちながらリアルタイムでアニメーション可能なアバターシステムを実現した。

　処理の流れは、まず、既存の3Dスキャンアプリケーションである「Scaniverse」を使用して、被写体を3D Gaussian Splatting形式で撮影する。この際、被写体にはAポーズ（両腕を横に広げた姿勢）を取ってもらう。

　次に、不要な背景部分を自動的に除去し、ポーズ推定技術を用いて被写体の向きと四肢の角度を特定する。各スプラットを最も近いメッシュ頂点に割り当て、その相対的な変換情報を記録。この前処理全体がブラウザ上で約30秒で完了する。スキャンプロセスを含めると、アバターは約5分で完全に生成される。

　アニメーション時には、背景のメッシュを動かすだけで、割り当てられたスプラットが自動的に追従。関節周辺の伸縮や圧縮といった自然な変形もそのまま保持される。アニメーション中は、iPhone 13 Proで40～50fpsで動作し、NVIDIA GeForce RTX 3060 GPUを搭載したラップトップで240fpsで動作する。

　実装面では、システム全体がJavaScriptとThree.jsを用いたブラウザアプリケーションとして構築されており、特別なソフトウェアのインストールは不要。これにより、スマートフォンやVRヘッドセット、通常のPCなど、あらゆるプラットフォームで即座に利用できる。背景メッシュには3万2000ポリゴンのVRM形式3Dアバターを使っており、既存のVRM対応アプリケーションとのシームレスな連携も可能になるだろう。

　この研究は、2025年大阪・関西万博落合館とJSPS科研費の支援を受けて行われた。

Source and Image Credits: Kondo, Naruya, Yuto Asano, and Yoichi Ochiai. “Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications.” arXiv preprint arXiv:2510.13978（2025）.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  万博「null2」移設クラファン、1日で1億円達成　1人で1000万円の支援も……落合陽一氏「感無量」　次は2億円へ

• 

  万博の落合陽一パビリオン「null2」移設クラファン開始　返礼品は「かけら」や「ぬるぬるパーカー」

• 

  万博“非公式マップ”作者「つじ」さん、落合陽一パビリオンに招待される

• 

  「オールナイト万博」落合陽一パビリオンが“パーリーナイト状態”に　“隠しモード”起動、本人が遠隔DJ

• 

  落合陽一、神社を建てる　その名も「計算機自然神社」　“ヌルの神様”と“オブジェクト指向菩薩”が鎮座