ディープラーニングでIMEはさらに進化する！――続々「Simeji」の日本語入力システム入門（4/4 ページ）

[PR／ITmedia]

PR

――　AIブームに合わせて出てきて廃れてという感じですね。

小町氏　そうですね。僕が大学院に入学した2005年頃、ニューラルネットワークは調度廃れていた時期で、古臭いなあという印象でした。それが複数の技術が積み重なって2006年くらいから使えるようになってきて、2012年くらいからまた盛り上がってきました。それがディープラーニングです。昔のニューラルネットワークは、入力に関して、ものすごく特化しちゃうんです。どんな状況かというと、与えられた問題を解ける生徒がいるとします。でも、ちょっと問題を変えると解けなくなる。それと同じで、ものすごく複雑なことが表現できすぎて、学んだ問題だけが解けるようになっていて、未知のものが解けなくなるということが、10年くらいずっと続きました。2006年から未知の問題も解けるようにする手法が1つずつ提案されていって、過学習というんですが、未知の問題に対して解けなくなるような問題は回避できるようになりました。

　こういうニューラルネットワークを何層にもしてやると、それぞれの層で複雑な構造を学習できます。人間の顔認識では、一番下の層では線や点、丸などを認識しているんですが、上部の層で鼻っぽいものを学習したり、男性の顔っぽいものを学習したりして、それぞれの層ごとに、より抽象的な表現を学習することができるようになります。これが実際の人間の脳がやっている処理とほとんど同じということが分かっています。言語や音声は画像の人間の処理と同じようになっているか、まだ分かっていないので、そのまま議論が適用できるかどうか分からないのですが、それぞれの層ごとに学習するということが、ディープラーニングの特徴の1つです。

ディープラーニングのプロセス

　顔を認識する場合を例とする。左から1層目、2層目、3層目とあり、それぞれのニューロンが相互につながっている。例えば1層目が顔の輪郭など、線に対応するもの、2層目が目や鼻の位置、3層目が老人や子どもといった顔の年齢を判断する処理を行うとする。

層が深くなる（深層）ことで、複雑な学習ができるディープラーニング

　1層目、2層目、3層目と段階ごとに処理の結果を学習し、最終的にどんな顔かを認識するが、間違ったら誤分類したものを正しく分類できるようにする。それぞれのネットワークには、つながりによって重視する場合は100、重視しない場合には0.3といった“重み”が付いており、最初はランダムに付与される。入力情報は1層目から進み、分類され、間違った場合は正しく分類できるように出力側からさかのぼってそれぞれの重みを学習する（誤差逆伝搬）。

　これまでは一連のプロセスをまとめて学習しようとして、処理が追いつかなかった。ディープラーニングでは1層ごとに学習することで過学習を防いでいる。他にも一定の確率でニューロンを無視するドロップアウトという手法や、重みの更新がしやすいようにする工夫など、いくつかの手法を用いることで、ディープラーニングが使えるようになったという背景がある。

――　最初が画像認識でしたが、色や目の位置、面積など、数値にしやすいものの組み合わせはやりやすいけれど、言葉だと意味があるかないかのように、数値にしにくい部分があります。この手法は活用できるけれども、うまく落とし込めるかはまだ研究中ということですか？

小町氏　そうですね。ただ先程の、単語をベクトルに直すという手法もあって、感情分析や機械翻訳といった、いくつかのタスクでは既存手法を上回る精度を達成したものもあります。

　ただ、本当にすごく使えるものかというと、そういうものでもないということも分かっています。2014年くらいまでで、人間ががんばってチューニングした機械学習に基づくシステムと比べると、全然チューニングしなくてもそれと同じくらいの精度がでますよというレベルです。実行に必要な速度がすごくよく出る、という使い勝手の効果は結構出てきています。精度がよくなるというよりは、速度が速くなったり、これまでの手法でやるとプログラムのサイズが300Mバイト必要だったのが1Mバイトくらいでできるようになる、といった効果です。実際、サイズがそんなに減ると、スマホにも楽に入れられますし、メモリも使わないから非常に軽く動きます。

――　言葉を計算するということの実用化はできつつあると。

小町氏　そうですね。意味を扱うようなことができつつあるかなと思っています。例えば、king - man + woman = queenは足し算引き算ですが、例えば「楽しい」の反対は「楽しくない」で、これは足し算引き算というよりは、マイナスをかけて反転させるような操作なんです。単純に単語の意味を扱うだけでは文が作れないという問題があるんですが、単語からフレーズの意味を計算して、フレーズとフレーズの間の関係をみて、最終的に文の意味がどうなるのかを構成していくという研究が、世界的に盛んになっています。これも10年前はどちらかというと下火だったんですが、今、国際会議に行くと、機械翻訳に関する発表に次ぐ多さです。これができるようになると、対話のシステムにも使えるようになるという関係があるので、盛んになっているんだと思います。

　意味の計算で、恐らくこれまでできなかったようなことが、できるようになると思っています。最終的につなげたいのは、論理的な思考ができるようなシステム。機械翻訳について、日英や英日はそんなに精度が高くないので、日本人は翻訳はできないと思っている人が多いんですが、ヨーロッパ系の言語同士では非常によく翻訳できるんです。世界的に見れば、機械翻訳の実用度はそうとう高くなってきているという認識です。

　ただ、それが成功している原因の1つは、基本的には意味を考えていないからなんです。単に入力がこう来たら、出力をこう返す、という対応関係だけを学習しているのが、今の機械翻訳のシステムです。大量にデータがあれば意味を考えなくても翻訳できるということが分かったということが、最近の統計的な手法の成果だと思います。

　逆に、ここ20年くらいですが、統計的な手法に意味を入れると、性能がむしろ下がるというのが研究者の間では常識でした。例えば「はし」が橋なのか端なのか、曖昧性を解消すると英語の単語が正しく翻訳できるようになって、精度が上がりそうにみえるんですが、いろんな人がいろんな手法を試していたんですが、どうやっても精度が悪くなっていたのです。2007年くらいまではそうでした。

　ようやく最近、意味を考慮すると少しよくなることが分かり始めました。検索エンジンは意味を考えず出力を出す、むしろ意味を忘れることで成功してきた面もあります。これが統計的な手法の発展の裏にあるんですが、これからは意味をちゃんと考慮することが、意図を推測したり理解するために必要かなと思います。特に大事なのは、こうしたからこうだ、というような推論です。論理的な関係と意味の計算というものを、うまくくっつけていくことが大事だと思っています。

　論理的な推論に関して、「AならばB」という本当にかっちりした完全に論理的なものについては、コンピューターはすごく得意で高速に処理できるんですが、今、地面が濡れているから、たぶん雨が降ったんだろうというような、ソフトな確率性が関係するようなものは苦手です。しかし、我々が生きている世の中で、100％正しく論理的に成り立つようなものは、数学の世界など一部だけで、ほとんどは確率的な推論なんですね。雨が降っていて濡れていることもあるけれど、単にホースで水を撒いただけかもしれないということがあって、なんとなく正しそうな答えを出すことが求められています。対話しようとしたら、全部正しいことばかりではなくて、話の流れで、80％くらい、この人は風邪を引いているんだろうなと推測して応答したりします。そういうことをできるようにしていくのが大事な方向だと思っています。

――　今までの日本語入力の精度が上がりますし、まったく新しいサービスがこれで出てくる可能性もあるんですね。

小町氏　そうですね。ポイントは対話だと思います。これまでは基本的にユーザー側が一方的に何かを出してきたと思うんですが、システム側から聞いてきたりすることがありえます。かつて、Wordのヘルプにイルカが「お困りですか」と出てきて、当時の技術的にかなりイライラするものだったんですが、それがまた復活するんじゃないかと。今度はイライラするような感じじゃなくて、もっと寄り添うような形で教えてくれるようなエージェントになって復活するんじゃないか、空気を読んで聞いてくれるんじゃないかと思います（笑）。

――　通販サイトでは、チャット形式であたかも向こうに人がいるかのように会話できることがあります。あれも、イルカっぽいと思うことがあります（笑）。本当に人がいるときもあるかもしれませんが、放っておくと「こんな質問がありました」と話しかけてくるしゃべる通販サイトがあったりして、新しいと思いました。

小町氏　そういうのが、より一般的になるんだと思います。

高部氏　Simejiに関しても、対話型は究極です。エージェントサービスになって、自分の信頼できるエージェントみたいになると、非常にビジネスとしては面白いと思います。直近は利用者の意図を察知して、日本語インプット以外の別の形をSimejiに入れていきたいなと考えて、ニュースをサジェストしたりといったことでトライアルをしています。Simejiは言語処理の研究からオリジナルIMEの変換技術まで含めて、ユーザーのニーズに合ったサービスを、垂直統合的に全部、自社でやっています。究極の対話型に行くまでの前段階で、斬新なサービスをSimejiで市場にいち早く投入したいと思っています。

　今後、実験的で高度な体験ができるものについては、プレミアムサービスやプロユーザー向けにどんどん入れていきたいと思っています。品質の安定はもちろんですが、新しいサービスの体験者、モニターからヒアリングさせていただいて、サービスの最適化、汎用化していきたいと考えています。新機能は有償で提供されることもあると思いますが、お金をかけても体験したいという方々を集めて、発展的なサービスを他社よりも先に市場に投入できるようにしたいです。

――　一緒に研究やビジネスをしていきたいという大学や企業も出てくるかもしれませんね。

高部氏　ビジネスも学術分野も常にオープンです。お互いの経験や知識が相互にシナジーを生むような提携や情報交換などはお声掛けいただければ積極的にお話をうかがわせて頂いております。技術発展のスピードは凄まじいものがありますが、さまざまな分野の経験や知識を集約し、ユーザーに便利でよりよい体験ができるサービスを提供して行くことできればと考えております。