ヤフー、高次元データの高速検索技術「NGT」をオープンソース化 企業に“眠る”ビッグデータを分析しやすく

[ITmedia]

　ヤフーは11月24日、高次元データの高速検索技術「NGT」（Neighborhood Graph and Tree for Indexing）を、商用・非商用を問わず利用できるApache License 2.0のオープンソースソフトウェア（OSS）として「GitHub」で公開した。同技術に関する特許実施権も無償提供する。

NGTと既存技術の検索時間の比較グラフ（1000万件の画像データを対象に検索を行った場合）

　NGTは、テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術。200万件の言語データを対象にした場合、これまで最速だった技術「SASH」の約4倍、主流の技術「FLANN」の約12.3倍の速さで検索でき、1000万件の画像データが対象だと、これまで最速だった「直積量子化手法」の約5.6倍、FLANNの約13.5倍の速さで検索できるという。

　NGTを使えば、近似したデータを高速でマッチングできる。項目数が多くフォーマットや入力方法がばらばらなデータを高速で照合でき、データの名寄せなど、企業内で活用しきれていないビッグデータを使いやすい形に置き換えることも可能という。人工知能（AI）の活用に必要な、高品質なビッグデータの生成に貢献するとしている。

　ヤフーでの活用アイデアとして、スマートフォン向けYahoo! JAPANアプリでのニュースコンテンツのパーソナライズ配信（ユーザー1人1人に合わせた配信）や、運用型ディスプレイ広告の配信精度の向上などに同技術を応用できる可能性があるという。

　同社はこれまで、商用不可の研究用途に限定し、NGTを2015年9月から「Yahoo! JAPAN研究所」で公開していた。社内外問わず同技術を発展させるため、特許実施権の無償提供を決めたという。