ITmedia NEWS > STUDIO >
ニュース
» 2018年11月02日 08時00分 公開

「Yahoo!知恵袋」の不快な投稿、見えないところへ わずか1日で6億件を処理 ヤフー社内で何が起きたのか (2/2)

[村田朱梨,ITmedia]
前のページへ 1|2       

9カ月かかる演算、kukaiを使ったらどうなった?

 kukaiは、2017年6月に発表されたヤフー初のスーパーコンピュータ。電気を通さない特殊な液体に直接ハードウェアを漬け込む「液浸」という効率的な冷却方法を採用しており、スパコンの省エネランキング「GREEN500」では世界2位を獲得した(2017年6月時点)。演算処理能力は、GPUサーバを使った同社のディープラーニング環境と比べて理論上約255倍という。

photo スーパーコンピュータ「kukai」
photo

 清水さんたちはkukaiのリソースの半分(40nodes/80GPU)を使用し、投稿判定システムを起動。すると、完了までにかかった時間は1日強。もともと約9カ月かかると想定していた処理時間を、約200分の1に短縮できた。

 検出したグレーな投稿は、トップページなど人目につくところでは非表示にした。その効果はヤフー社内でも実感しているという。「ユーザーのアンケートでも『知恵袋の内容が良くなっている』という反応があった」と丹羽さんは言う。

 「今回は、アダルトカテゴリー以外に掲載されているアダルトな内容などをグレーな投稿としたが、低品質な投稿は他にもある。信頼してサービスを使ってもらうためにも、常にサービス側が努力し続ける必要がある」と丹羽さん。判定の精度をさらに高めるなど、今後もYahoo!知恵袋の改善を続ける考えだ。

 「これまでなら数カ月かかっていた機械学習にkukaiを使い、1〜2日で終わらせるような試みも進めている。より大規模で高性能なモデルを短期間で学習させて、本番環境に投入していきたい」(清水さん)

前のページへ 1|2       

Copyright © ITmedia, Inc. All Rights Reserved.