ITmedia NEWS > 速報 >

ヤフー、分散表現の学習時間を短縮するAI技術「yskip」をオープンソース化

» 2019年04月18日 19時26分 公開
[ITmedia]

 ヤフーは4月18日、AI(人工知能)の機械学習における自然言語処理技術の1つである分散表現の学習時間を短縮する技術「yskip」をGitHubで公開した。

AI ブログで開発者による技術解説を公開

 分散表現は、単語をベクトルで表現する自然言語処理技術の1つ。大量のテキストデータからさまざまな単語の関係性を機械学習することで、単語同士の意味の違いを機械的に推定できる。同社ではユーザーの興味関心と、記事や広告をマッチングするための技術として活用している。

 AIの精度を向上させるために、日々増えていく検索キーワードやSNSの投稿などを活用する場合は、分散表現の学習モデルを頻繁に更新する必要がある。これまでは、新しいデータだけでなく、学習済みのデータも合わせていちから学習し直す必要があり、非効率的だった。

 yskipを使えば、新しいデータのみの学習で済むため学習時間を短縮でき、全データを学習する場合と同等の精度を維持できるとしている。同社は、Twitterへの投稿を検索できる「リアルタイム検索」でyskipを活用し、サービスの質の向上に役立てているという。

AI 「yskip」と従来の学習法である「skip-gram model with negative sampling」における分散表現の精度の違いを、5種のデータセットで検証。ほぼ同等の精度で学習できると実証できた

 yskipは代表的な分散表現学習法である「skip-gram model with negative sampling」を拡張した技術。ヤフーは同技術の特許権を取得しており、研究と商業用途それぞれでライセンスを無償提供する形でオープンソース化した。

 「本技術のさらなる利便性向上を図り、データサイエンス領域の研究者・エンジニアコミュニティーへ貢献したい」(ヤフー)

Copyright © ITmedia, Inc. All Rights Reserved.