　それは2017年12月、米Microsoftの公式ブログ（Intelligent Search & Discovery Blog）に掲載された「Search for words in your images in Office 365（Office 365で画像内の単語を検索する）」という新機能だ。

　少しさかのぼると2016年7月に同社のクラウドストレージサービス「OneDrive」では、写真の自動アルバム作成や日別ビューといった機能が使えるようになり、検索が強化された。これによって、OneDriveにアップロードした写真の位置情報や撮影日時、簡単なイメージ解析を用いた自動分類およびタグ付けが可能になり、手動で細かく写真を整理しなくても一覧性と検索性が高まっている。

　上記のブログ記事では、2017年初めにOneDriveやSharePoint（含むOneDrive for Business）にアップロードされた画像の自動認識を開始したことと、それによって可能になったことが紹介されている。

　この自動認識では、画像からホワイトボード、領収書、屋外、名刺、X線などの種類を判別してタグ付けができ、例えば「ホワイトボード」と検索すると、ホワイトボードを撮影した写真が全て表示される。またOCR（光学文字認識）のように画像内にあるテキストを自動認識してキーワードでの検索も可能だ。SharePoint、OneDrive、Office.comでこれらの機能が利用できる。

領収書の写真をOneDriveにアップロードし、画像内テキスト検索を行った様子（米Microsoftの公式ブログより）

　Googleフォトなどを活用しているユーザーにはおなじみの機能かもしれないが、Windows 10の標準機能であるOneDriveや、仕事で使うことが多いMicrosoft Officeにこうした機能が加わることで、作業効率アップが期待できる。この画像認識が意外と賢く、ちょっとした活用で面白いことができそうなので実際に試してみた。

OneDriveの画像内テキスト検索はどれくらい使える？

　OneDriveにおける画像検索の利用方法は簡単だ。フォルダの整理方法によらず、とにかく撮影した写真をOneDriveにまとめてアップロードすればいい。クラウド側で勝手に分類を開始してタグ付けなどが行える。

　実際、OneDriveに最近アップロードした写真を確認すると自動で分類できていた。注目すべきは「テキストの含まれた画像」であることを示した分類、次に「位置情報」にひも付いた分類、最後に「対象の物体が何か」を認識した状態で行われた分類だ。人間の顔だけでなく、猫を自動認識しているのも興味深い。これがMicrosoftの進める「Cognitive（認識） Services」の一環なのだと分かる。

全ての写真を対象に画像検索を掛けてみた

　ただ、画像をアップロードしてから自動でタグ付けが行われるまで若干時間を要するようで（恐らく定期的にクローリングの処理が走るため、1～2日ほどのラグがある）、アップロードしたばかりのMetroCardにのみ含まれる文字列を検索しても結果には表示されなかった。

　そこでテキストを含む写真を幾つか抽出し、画像内のテキスト検索を試してみた。「participant」というキーワードで検索してみると、当然ながらparticipantという文字が含まれた立て看板の画像がヒットする。

　ここでのポイントは、立て看板を大きく撮影している写真だけでなく、一見すると文字がないように見える画像であっても、遠くに小さく看板が写っていれば、その中のキーワードまでも正確に抽出できたことだ。非常に素晴らしい精度だといえる。

写真に写ったキーワード「participant」をテキスト検索対象にしてみた。メインの被写体ではなく、遠くに小さく写っている看板のテキストも検索にヒットしている点に注目だ

　次に、「amazon go」のキーワードで検索してみた。すると、米ワシントン州シアトルにあるAmazon Go（米Amazon.com運営のレジがない無人スーパー）店舗の様子を撮影した写真がヒットしたが、ここではAmazon Goのロゴが写っていない写真も選び出され、関連写真として一覧に表示された。周囲の景色や位置情報、撮影時間などを考慮したグルーピングが行われ、関連するキーワードにひも付けられたのではないかと予想する。

　この自動分類は非常に便利だ。マニュアルでのフォルダ作成やタグ付けなどでユーザーの手を煩わさずとも、とにかくOneDriveのクラウド上に写真を放り込んでおけば、後で思い付いたときに適当なキーワードを入力することで写真を一括抽出できるわけで、写真の管理が楽になる。