自動検索が人力より高精度!?　Amazonアプリの“写真で検索”を試してみた

　6月3日に公開されたAmazon.co.jpのiPhoneアプリは、iPhoneのカメラで撮った写真から似た商品を検索する機能「フォト検索」を備えているのが特徴の1つだ。書籍やCDなどは高精度に自動検索できると聞いたのでいくつか試してみたところ、かなり高い確率でヒットした。だが自動で見つからなかった場合に行われる手動検索の結果は、なぜだか結構ズレていた。

　フォト検索は、写真と同じ商品や似た商品をAmazonのデータベースから見つけて提示する機能。まず画像マッチングで似た商品を自動検索し、みつからなければ、「Mechanical Turk」（さまざまな仕事を登録ユーザーにWebで依頼し、報酬を支払うAmazonのサービス）のメンバーが手動で検索、見つかり次第知らせてくれる――という流れだ。

　画像マッチングは、米Amazon.com傘下のSnap Tellの製品画像認識技術を活用。技術の詳細は非公開だが、DVDやCD、本など文字入りのジャケット（表紙）がある商品なら高精度に検索できるという。

　編集部にある漫画やビジネス書などを正面から撮影して試してみたところ、6冊のうち4冊は自動検索で正しい結果が出た。検索にかかる時間は、写真投稿から数秒～10秒程度。帯付きの新書「ニコニコ動画が未来を作る」と雑誌「SPA！」は自動では結果が出なかったが、前者は帯を外して再度試すと正しい結果が表示された。

　CDも健闘した。AAA（トリプルエー）のシングル「Dream After Dream～夢から醒めた夢～」と、「Sex and the City 2」のサウンドトラックで試してみたところ、自動で一発検索。ジャケットに文字がほとんどないザ・ビートルズの「ホワイトアルバム」は（帯には「ザ・ビートルズ　ホワイトアルバム」と書いてあるが）さすがにマッチングが難しかったようで、自動では結果が出なかった。

なぜあの本がアレに……　手動検索の結果がちょっと変

　自動検索で結果が出なかった「ホワイトアルバム」と、帯付きの「ニコニコ動画が未来を作る」、「SPA！」はそれぞれ、写真投稿から10分ほど待つと、「Mechanical Turk」のユーザーが手動で検索した結果が返ってきた。

　「ホワイトアルバム」の検索結果は、ビートルズのCDボックス「ザ・ビートルズ・モノ・ボックス」と、実際と近い結果に。だが「ニコニコ動画が未来を作る」はなぜか、「ジョジョの奇妙な冒険」のノベライズ本「The Book―jojo’s bizarre adventure 4th another day」が返ってきた。SPA！は雑誌や書籍ですらなく、大瀧詠一さんの曲を各アーティストがカバーしたCD「大瀧詠一 Cover Book I」だった。

　元の写真とあまりに異なる結果が出てしまったのは、手動検索を行っている「Mechanical Turk」のユーザーに、日本語が分かる人が少ないためのようだ。Mechanical TurkはWebサイトからユーザー登録し、さまざまな仕事をWeb経由で依頼したり受けたりできる“仕事のマーケットプレイス”だが、現在は英語版のサイトしかなく、日本人のユーザーはおそらく少ない。

　日本語の読めない英語圏のユーザーが、なんとかして日本のAmazonから写真と似たような（？）商品を探し出してくれた結果が、ジョジョのノベライズ本だったり、大瀧詠一さんのCDだった――ということなのだろう。今後、Mecanical Turkに日本語が分かるユーザーが増えれば、手動の検索精度も上がってくるかもしれない。

　ちなみにMechanical Turkでフォト検索をしてくれた人への報酬はAmazonが支払っているため、検索したユーザーに追加料金が発生することはない。

この記事の著者

関連記事

• 

  Amazon、iPhoneアプリ日本版公開　写真撮って商品検索も