Webブラウザで影絵遊び AIとカメラで手の形を認識、影が動物に変身――お題コンプリートは難易度高し：遊んで学べる「Experiments with Google」

[佐藤信彦，ITmedia]

　人工知能（AI）の定義は曖昧で、10人に尋ねれば10種類の答えが返ってくる。それでもAIという言葉そのものは1960年代には広まっていて、耳になじんでいる。この10年ほどに限れば、機械学習や深層学習、ニューラルネットワークなどの技術をAIと称することが定着した。

　機械学習などを採用したシステムは、画像認識や音声認識といった分野で目覚ましい成果を上げている。画像に写る動物の種類答えたり、会話をスムーズにテキストデータへ変換したりするサービスもAIを基にした成果物だ。

　人間の創造力を凌駕するAIはまだ出現していないが、仕事や創作活動を手助けするAIはすでに登場しているし、今後もいろいろな分野に広がる。当然、新しい技術も生まれてくるはずだ。

　この連載記事では、AIなど最新技術を公開しているGoogleのショーケース「Experiments with Google」を実際に試して遊びながら最新技術の可能性を学んでいく。

Experiments with Googleは最新技術のショーケース

　Experiments with Googleは、さまざま技術の実験的な応用例を紹介するGoogleのWebサイトだ。AIを使った「AI Experiments」、拡張現実（AR）に関連する技術を紹介する「AR Experiments」、アートと技術を融合させた「Arts & Culture Experiments」、音声処理の応用を試す「Voice Experiments」などバラエティー豊かな実験がコレクション別に分類してある。

　実験といっても、堅苦しくはない。興味のあるコレクションだけ見てもよいし、片っ端から眺めていくだけでも楽しい。ちなみに、2022年2月1日時点で実験の数は1605件に上る。

　Experiments with Googleの最大の魅力は、専門知識がない人でもPCやスマホで体験できることだ。例えば、画面上の落書きが何の絵かAIが推測するゲーム「Quick, Draw!」は理屈抜きで楽しめる。Quick, Draw!に入力された膨大な落書きデータは、お絵かき支援サービス「AutoDraw」や「sketch-rnn」の開発に利用された。

　このように、ゲーム感覚でAIなど最新技術に触れて楽しむことができ、さらにユーザーが遊んだり実験したりしたデータを使って新たな技術開発につながっているのだ。本連載を通して最新技術の魅力に気付き、その仕組を学んでもらえたらうれしい。

手のひらを使った影絵でAIと勝負する「Shadow Art」

　連載1回目の今回は、Webブラウザで動作するアプリ「Shadow Art」を取り上げる。誰もが子供のころにやったであろう、影絵遊びが題材だ。体験にはPCやスマホのカメラを使う。

Shadow Art（出典：Google）

　Shadow Artをスタートすると、まず手の組み合わせ方を示したお手本が表示される。それに合うよう手で形を作ってカメラにかざすと、AIがお手本通りか判定する。カメラに写った手の形を影絵に見立てたゲームだ。

カメラの前に手をかざす

　出題される影絵は十二支の動物。ただ題材は中国の十二支なので日本とやや異なっていて、「未」（ヒツジ）ではなく「goat」（ヤギ）、「亥」（イノシシ）ではなく「pig」（ブタ）になっている。影絵の形にも違いがあり、日本だと一般的に「キツネ」とされる手の形が「ウサギ」に使われているなど、文化の違いを感じられて面白い。

　それでは、遊んでみよう。

十二支のコンプリートは至難の業

　Shadow Artのトップページ上部にある「LAUNCH EXPERIMENT」ボタンで起動し、次の画面で右下の「Play」ボタンをクリックするとスタートだ。初期状態では「ブタ」がお題に選ばれているが、自身の干支に変更できる。

　変更する干支はメニューから選択してもよいし、生年月日を入力してもよい。生年月日で選ぶ場合は注意しよう。干支の切り替わるタイミングが1月1日でなく、旧正月（春節）だからだ。例えば22年の旧正月は2月1日で、干支は1月中が「ox／丑」、2月から「tiger／寅」になる。

メニューかカレンダーで干支を変えられる（出典：Google）

　もっとも、ここでは1つ目に出題される干支を選ぶだけなので、細かいことは気にせず進むことにした。

　ゲームが始まりカメラの調整が済むと、右側の円にお手本が表示される。そうしたら、手をカメラの前に出して、お手本に合う形を手で作ろう。左側の円には、手の形から抽出された、影絵のような画像がリアルタイム表示される。この影絵が上手に作れると、出題された干支をゲットできるルールだ。

正解すると動物が現れる（出典：Google）

　第1問に正解すると、次の干支が自動的に出題される。最初の問題はじっくりトライできるのだが、2問目からは20秒の時間制限が設けられていて、クリアはなかなか難しい。なじみのない形だったり、両手を駆使する必要があったりと、初めてだとすぐタイムオーバーしてしまう。十二支を全てゲットするのは至難の業だろう。

　とはいえ、ゲーム感覚で楽しめるし、正解したときのアニメーションも可愛らしいので、ぜひコンプリートを目指してほしい。

白飛びしつつも3連続で成功（出典：Google）

　なお、手の形がうまく抽出されるよう、プレイするときはカメラを壁のような何もないところへ向けておくとベストだ。明るいほど良いと思ってライトを当ててプレイしたら、手が白飛びして背景の白い壁と区別できず、正しく抽出されなかった。明るさよりも、背景と手のコントラストを意識した方がよさそうだ。

この程度の明るさで白飛びする（左）ので、手袋を使ってみた（右）

　スマホでも遊べるが、手で持ったままだと揺れて不安定だし、問題によっては両手を使う必要がある。スタンドに立てて壁に向けるか、テーブルに置いて天井に向けるなど工夫しよう。

スマホの場合は、テーブルに置くとやりやすい

影絵とサンプルの類似度を比較するようAIモデルを学習

　Shadow Artの大まかな処理は次のような流れだ。

1. カメラで撮影した画像から手の部分を抽出する
2. 手の輪郭を取得し影絵状にする
3. AIがサンプルデータとの類似度を算出して、
4. 一致したかどうか判定する

表示される見本の絵には爪が描かれているので手の向きまで合わせたくなるが、Shadow Artは輪郭しか比較しておらず、左右の手が逆でも、裏表が違っていても、輪郭さえ似ていれば正解になる。

影絵とサンプルの類似度を比較（出典：Google）

　ユーザーが手で作った影絵の動物を認識するのでなく、影絵がサンプルのどの干支に似ているか判断する目的で作られた。そのため、このAIモデルは実際に手で作った干支それぞれの影絵パターンを大量に読み込ませて学習させた。

　もともとはWebアプリではなく「ShadowPlay」という名称のシステムだった。これを18年9月に上海で開催されたAI関連イベント「World AI Conference」などでデモンストレーションしたところ、より多くの人に体験してもらいたいということになり、Webブラウザで動くShadow Artの開発に至った。

　肝心の要であるAIは、Googleのマシンラーニング用ツールキット「TensorFlow」を使って開発。GPUやTensorFlow用チップ「Tensor Processing Unit（TPU）」を用い、学習処理の高速化を図っている。

　システムをWeb環境へ移植するにあたり、TensorFlowのJavaScriptライブラリ「TensorFlow.js」を使うように改造した。これによりWebブラウザ上でAIモデルの学習や実行が容易に行えた。

　Shadow Artをプレイして感じるのは、手で作った影絵の形がそれらしければ正解になる、という動作がとてもAIらしい、ということだ。昔ながらの影の形を単純に比較するアルゴリズムだと、こうはいかない。似ている、という判断で十分な用途には、こうしたAIが力を発揮するのだろう。