「Yahoo!知恵袋」の不快な投稿、見えないところへ わずか1日で6億件を処理 ヤフー社内で何が起きたのか（2/2 ページ）

Q＆Aサービス「Yahoo!知恵袋」は長い間、不快な内容だが規約違反ではなく削除できない「グレーな投稿」に悩まされてきた。解決するための処理には約9カ月かかると思われていたが、わずか1日強で完了したという。何が起きたのか。

[村田朱梨，ITmedia]

9カ月かかる演算、kukaiを使ったらどうなった？

　kukaiは、2017年6月に発表されたヤフー初のスーパーコンピュータ。電気を通さない特殊な液体に直接ハードウェアを漬け込む「液浸」という効率的な冷却方法を採用しており、スパコンの省エネランキング「GREEN500」では世界2位を獲得した（2017年6月時点）。演算処理能力は、GPUサーバを使った同社のディープラーニング環境と比べて理論上約255倍という。

スーパーコンピュータ「kukai」

　清水さんたちはkukaiのリソースの半分（40nodes／80GPU）を使用し、投稿判定システムを起動。すると、完了までにかかった時間は1日強。もともと約9カ月かかると想定していた処理時間を、約200分の1に短縮できた。

　検出したグレーな投稿は、トップページなど人目につくところでは非表示にした。その効果はヤフー社内でも実感しているという。「ユーザーのアンケートでも『知恵袋の内容が良くなっている』という反応があった」と丹羽さんは言う。

　「今回は、アダルトカテゴリー以外に掲載されているアダルトな内容などをグレーな投稿としたが、低品質な投稿は他にもある。信頼してサービスを使ってもらうためにも、常にサービス側が努力し続ける必要がある」と丹羽さん。判定の精度をさらに高めるなど、今後もYahoo!知恵袋の改善を続ける考えだ。

　「これまでなら数カ月かかっていた機械学習にkukaiを使い、1〜2日で終わらせるような試みも進めている。より大規模で高性能なモデルを短期間で学習させて、本番環境に投入していきたい」（清水さん）