喋った情景をアニメ化するAI「Scribbling Speech」 デモ版はないけど、学習データや処理内容を解説した：遊んで学べる「Experiments with Google」（第20回）（2/2 ページ）

[佐藤信彦，ITmedia]

さらに凝った作りの「Word to World」

　Scribbling Speechは、作者のYang氏が大学の卒業研究で制作した。その後Yang氏は修士課程でScribbling Speechをブラッシュアップし、絵や動きを精細にしたり機能を追加したりした「Word to World」を開発している。

　こちらも実際に動かせるサービスは未公開だが、Word to WorldベースのiOSアプリもあって雰囲気は楽しめる。ここでも簡単に紹介しよう。

Scribbling Speechより凝った作りのWord to World

動作データを事前に用意　動かないテディベアも歩かせられる

　一目で分かるScribbling Speechとの違いは、オブジェクトの絵が落書きではないことだ。描画するオブジェクトの画像をQuick, Draw!データセットから取得せず、別で描いたものを使っている。

　オブジェクトの動きと動作の間の遷移も細かく定義していて、アイドル状態から歩いたり、走ったり、ジャンプや寝るといった動作データを事前に用意した。

キリンの歩く動きをアニメ化した様子

　テディベアやテーブル、ソファといった本来なら動かないはずのオブジェクトにも、それぞれ動きをつけられる。

テディベアにも、さまざまな動きを定義できる

動かない物も動かせる

それなりに遊べるWord to WorldのiOSアプリ

　このWord to Worldの動きも、ビデオで確認するしかない。これを自分で動かせたら、どんなに楽しいだろうか。

Word to Worldのデモビデオ

　Word to Worldの雰囲気だけなら、iOSアプリ「Word to World」で体験できる。ただし想像した世界を自由にアニメ化できるわけではない。あらかじめ用意されたストーリーの範囲内で、英語の音声を入力して情景やオブジェクトの動作を選択する内容だ。

iOSアプリは音声入力でストーリーを選んでいく

　とはいえ、話しかけた内容に従ってストーリーが進めばうれしいし、英語の発音が悪くてうまく認識されなければ悔しい。単なる音声認識ゲームではあるものの、読み聞かせのように子供と一緒に遊ぶのもよい。

　今回紹介したScribbling SpeechやWord to Worldは、Midjourneyなどに比べると仕組みは単純なものだ。しかし自然言語の入力データを解析して絵やアニメにする動作は変わらない。違いは入力データをどこまで細かく分類するか、出力をどのように生成するかといった点で、本質的には同じ仕組みと考えられる。

　またQuick, Draw!から生まれたデータセットを、Scribbling SpeechやCartoonifyといったコンテンツで活用していたように、成功した前例をヒントにすることで新たなサービスを組み立てられる。例えばCartoonifyはGitHubでソースコードを公開しているので、参考にできるだろう。