喋った情景をアニメ化するAI「Scribbling Speech」 デモ版はないけど、学習データや処理内容を解説した:遊んで学べる「Experiments with Google」(第20回)(2/2 ページ)
頭に浮かべた情景を口頭で説明すれば、AIがアニメ化してくれるシステム「Scribbling Speech」がある。実際に試せるデモ版はないが、学習データや処理の流れを解説した。
さらに凝った作りの「Word to World」
Scribbling Speechは、作者のYang氏が大学の卒業研究で制作した。その後Yang氏は修士課程でScribbling Speechをブラッシュアップし、絵や動きを精細にしたり機能を追加したりした「Word to World」を開発している。
こちらも実際に動かせるサービスは未公開だが、Word to WorldベースのiOSアプリもあって雰囲気は楽しめる。ここでも簡単に紹介しよう。
動作データを事前に用意 動かないテディベアも歩かせられる
一目で分かるScribbling Speechとの違いは、オブジェクトの絵が落書きではないことだ。描画するオブジェクトの画像をQuick, Draw!データセットから取得せず、別で描いたものを使っている。
オブジェクトの動きと動作の間の遷移も細かく定義していて、アイドル状態から歩いたり、走ったり、ジャンプや寝るといった動作データを事前に用意した。
テディベアやテーブル、ソファといった本来なら動かないはずのオブジェクトにも、それぞれ動きをつけられる。
それなりに遊べるWord to WorldのiOSアプリ
このWord to Worldの動きも、ビデオで確認するしかない。これを自分で動かせたら、どんなに楽しいだろうか。
Word to Worldの雰囲気だけなら、iOSアプリ「Word to World」で体験できる。ただし想像した世界を自由にアニメ化できるわけではない。あらかじめ用意されたストーリーの範囲内で、英語の音声を入力して情景やオブジェクトの動作を選択する内容だ。
とはいえ、話しかけた内容に従ってストーリーが進めばうれしいし、英語の発音が悪くてうまく認識されなければ悔しい。単なる音声認識ゲームではあるものの、読み聞かせのように子供と一緒に遊ぶのもよい。
今回紹介したScribbling SpeechやWord to Worldは、Midjourneyなどに比べると仕組みは単純なものだ。しかし自然言語の入力データを解析して絵やアニメにする動作は変わらない。違いは入力データをどこまで細かく分類するか、出力をどのように生成するかといった点で、本質的には同じ仕組みと考えられる。
またQuick, Draw!から生まれたデータセットを、Scribbling SpeechやCartoonifyといったコンテンツで活用していたように、成功した前例をヒントにすることで新たなサービスを組み立てられる。例えばCartoonifyはGitHubでソースコードを公開しているので、参考にできるだろう。
関連記事
- AIに頼れば、絵心ゼロでもマンガのキャラクターを描けるのか? Googleの「Giga Manga」を試してみる
AIの力を借りて誰でもマンガのキャラクターを描ける「Giga Manga」を試してみた。AIで線画を加筆し、着色もほぼ自動でできる。絵心ゼロの筆者でもうまく描けるだろうか。 - AIが評価するお絵描きゲーム 判定は「アートっぽいけど、何なのか見当つかない」 高得点を狙うには?
お題を基に絵を描き、お題にどれだけ似ているかAIで判定するWebアプリ「Guess the Line」がある。試してみたら、評価は「アートっぽいけど、何なのか見当つかない」だった。高得点を狙うコツを考えてみる。 - 「神絵が1分で生成される」 画像生成AI「Midjourney」が話題
人間の指示をもとに画像を生成するAI「Midjourney」がTwitterで話題だ。Discordでイラストのお題を投稿すると画像を出力する仕組み。 - 画像生成AI「Stable Diffusion」がオープンソース化 商用利用もOK
AIスタートアップ企業の英Stability AIは、画像生成AI「Stable Diffusion」をオープンソース化した。AI技術者向けコミュニティサイト「HuggingFace」でコードやドキュメントを公開した他、同AIを試せるデモサイトなども公開している。 - 中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題 新しいデモページ公開
中国Baiduが、画像AI「ERNIE-ViLG」を試せるデモ機能を公開した。Twitterでは日本のユーザー間で「二次元キャラの生成に強い」などと話題に。一方で、画像生成AIの分野で中国にビジネス的なアドバンテージを取られるのではと懸念する声も見られる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.