しかし、課題があったのはハードウェアだけでない。スパコンの性能を高めるにはさまざまなソフトウェアのチューニングも必要だが、そうしたチューニングは熟練の目利きが必要となる職人技で、「われわれのような素人が普通にやるのは無理」(角田ディレクター)。開発を進めている間「どうやってチューニングするか」はずっと議論になっていたという。
何か方法はないかと、角田ディレクターたちが目を付けたのは「機械学習を使ったチューニング」だった。スパコンではないが、機械学習でチューニングを行った例がいくつかあったため、それを応用し、最適なパラメータの調整を「機械にやらせることにした」という。
このチューニングには、機械学習の専門家である東京大学大学院の佐藤一誠講師も協力。スパコンそのものに機械学習でチューニングする例はこれまでなかったため、「研究としてものになるのではないかと、共同研究を進めていた」(角田ディレクター)。これにより短期間のチューニングで良い数値を見つけることができ、処理効率も向上したという。チューニングについてまとめた論文は、HPC(ハイパフォーマンスコンピューティング)の国際学会「ISC HIGH PERFORMANCE 2018」に採択され、同学会で詳細を発表予定という。
こうして完成したkukaiはすでに稼働中。処理効率を最大限まで突き詰めたことで「膨大な数のデータでも短時間で処理でき、何度でも試行錯誤する。改善速度も上がり、結果、精度も高くなる」と角田ディレクターは話す。まだ実際のサービスには適用するところまで進めてはいないが、「ヤフオク!」の出品画像を使ったカテゴリ推定では、すでに一定の成果が出ているという。
ヤフオク!に出品されている商品の中には、カメラであっても「カメラ」のカテゴリにはない――など、正しくカテゴリ分けされていないものも多いため、膨大な出品画像の中から約8000万枚を選出して学習させ、「どんなカテゴリになるのか」推定できるようにした。既存手法の精度は17%であったのに対し、kukaiを使った推定の精度は30%だった。
「数千万枚もの膨大な画像使ってちゃんとディープラーニングを回せたことで、大きく精度を上げられた。これは、スパコンだからこそできたことだと思う」(角田ディレクター)
kukaiのチューニングの論文執筆者の1人でヤフーのエンジニアの宮崎崇史さん(データ&サイエンスソリューション統括本部 事業開発本部)も、「160基ものGPUで検証できる環境はなかなかない。個人レベルでできるのとは段違いのことができるので、いろいろと検証してみると面白いと思う」と話す。
具体的なプランはまだないが、こうした「学習モデル」を作ることができれば、さまざまなものへ横展開が可能になるという。今後はディープラーニングの研究事例の多い画像データを使ったものへのアプローチから進めていき、テキストデータや音声データなどにも適用していく計画だ。
また、ディープラーニングのための環境作りは、kukaiだけでは終わらないという。
「kukaiを作るのに、効率の良い処理を目指してGPUを使ったが、世界にはGoogleなど、専用のプロセッサを作ろうとしているところもある。われわれもGPUにこだわっているわけではないので、『ディープラーニングに最適な環境を作る』という目的に向けて、今のkukaiの構成にこだわることなく、専用チップなどにも目を向けて進めていきたい」(角田ディレクター)
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR