Androidに“Google AI”の新機能 OSにGeminiを統合、「かこって検索」で問題を解く機能など

[田中聡，ITmedia]

　米Googleが5月14日（現地時間）、Android向けに搭載するAI関連の新機能を発表した。

Google AIの新機能を発表

　特定の部分を丸で囲って検索ができる「かこって検索」は、GalaxyやPixelの一部機種で利用できるが、この機能を拡張する。同日から、学生が問題を解くのを支援する機能を追加。問題文に丸を付けると、物理学や数学を説くための指示が表示される。2024年後半からは、かこって検索が記号式、図、グラフなどを含むさらに複雑な問題の解決に役立てるようになる予定とのこと。

囲った部分の問題の解き方を教えてくれる

　かこって検索はより多くの端末に導入する予定で、2024年末までに対応機種を2倍に増やす予定だとしている。

　Androidに生成AIモデルの「Gemini」を統合し、アプリ上のオーバーレイ表示から、より簡単にGeminiを利用可能になる。例えば、生成された画像をGmailやGoogle メッセージなどにドラッグ＆ドロップしたり、「このビデオに質問」からYouTube動画内の情報を検索したりできる。Gemini Advancedのユーザーは、「このPDFに質問する」からPDF内の情報も検索できる。このアップデートは、今後数カ月にわたって提供される。

　2024年後半から、Pixelにマルチモーダル機能を備えた「Gemini Nano」を導入する予定。これにより、テキスト入力だけでなく、音や話し言葉など、より多くの情報を理解できるようになる。

　同じく2024年後半には、Gemini Nanoのマルチモーダル機能を、「TalkBack」に導入する。これにより、視覚障害や弱視を持つ人が、共有された画像やネット上の画像の情報を、音声で取得できるようになる。この機能はオンデバイスで実行されるため、ネットワーク接続してなくても利用できる。

TalkBack機能を利用し、画像から音声で情報を取得できる

　通話中に、詐欺の疑いがある場合にアラートを出す機能もテスト提供している。例えば、銀行の担当者が緊急の資金移動やギフトカードでの支払いを要求したり、カードのPINやパスワードなど要求したりした場合にアラートを受け取れるという。この機能もオンデバイスで実行する。

詐欺電話のアラート

　こうしたGoogle AI機能は、PixelやGalaxyなどのスマートフォンに組み込んでいくとしている。