　この技術は「Automatic Linguistic Indexing of Pictures in Real-Time（ALIPR）」と呼ばれ、コンピュータが建物、人物、風景など写真の内容を識別できるよう学習させるというもの。写真の周りのテキストを分析する現行の画像検索のシステムとは異なるという。

　研究者らはまず、手動でさまざまな関連キーワードをタグ付けした多数の写真を用意した。例えば、国立公園の写真を大量に用意して、「国立公園」「風景」「木」などのタグを付ける、といったように。次に統計的なモデルを構築して、コンピュータが写真の色やテクスチャのパターンを識別できるよう学習させた。こうした「訓練」により、コンピュータが写真の内容を認識して、関連するキーワードをタグ付けできるようにしたという。

　開発者の1人ジェームズ・ワン氏によると、ALIPRでは、約90％のケースで、7つの適切なキーワード候補のうち少なくとも1つを写真に割り当てることができる。だが精度は利用者がどこまでの正確さを期待しているかによって異なるという。「例えば、ALIPRはたいてい動物と人間を区別できるが、大人と子供の区別はできない」と同氏は言う。

　開発チームはALIPRの精度向上を目指しているが、もう1人の開発者ジア・リー氏は、「多数の写真があり、その内容はさまざまに異なっているため」、100％の精度は実現できないだろうと語る。「ALIPRは色とテクスチャのパターンを認識する。例えば赤いコートを着た猫の写真の場合、赤いコートのせいで猫と関係のないタグが付けられる可能性もある」。同氏は、写真の認識を向上させる新しいアイデアを追求しているところだという。

　ALIPRはインターネット上で公開されており、誰でも写真をアップロードしたり、ALIPRが割り当てているキーワードが適切かどうかを評価して精度の向上に協力できる。