Innovative Tech

Apple、UI学習向けクローラーを開発　新しいスマホアプリを自動インストール、“使われ方”を自己学習

　米カーネギーメロン大学や米Appleなどに所属する研究者らが発表した論文「Never-ending Learning of User Interfaces」は、アプリストアから新しいアプリを自動でインストールし、アプリ内操作を自動で行いデータを収集するとともに、モデルを継続的に自己学習させるUI（ユーザーインタフェース）学習向けクローラーを提案した研究報告である。

　深層学習は、モバイルアプリケーションにおいて、アクセシビリティーの向上やデザイナーへのフィードバック提供、ユーザーエンゲージメントの予測など、新しいタイプの評価を可能にしている。

　しかし、これらのモデルを訓練するには大量の注釈付きデータが必要で、その収集は手作業で行われるためコストがかかるだけでなく、人為的なエラーも避けられない。この問題を解決するために、今回「Never-ending UI Learner」と呼ばれる手法を提案する。

　Never-ending UI Learnerは、実際のデバイス上でアプリケーションを自動操作しつつ、UIのセマンティック（意味的）情報を学習するシステムである。このシステムは、初期のモデルトレーニングに用いるデータを除いて、全てのデータを自動で収集、注釈付けし、トレーニングする。

　具体的には、アプリストアから実際のアプリを自動でインストールし、そのUIを探索して操作の前後を含めたスクリーンショットを撮影し、その情報をもとにアノテーションを生成する。そして、学習データを収集しながら、そのデータでモデルを訓練する。

　このシステムは、5000時間にわたり、6461個以上のアプリで50万回以上の操作を行い、注釈が付けられたモバイルUIスクリーンショットのデータセットを作成した。得られたデータセットは、既存の人手によるデータセットよりも10倍以上大きい。このようにして収集したデータは「タップ可能性」「ドラッグ可能性」「画面の類似性」の3つのコンピュータビジョンモデルに学習させてテストが行われた。

　Never-ending UI Learnerによって得られる多くの利点がある。既存の人為的な注釈データは一時的なスナップショットにすぎないが、この手法を用いることで操作前後のスクリーンショットが取得でき、より正確な注釈が可能となる。

　人手によるデータ注釈が不要なため、人為的なミスが排除され、コストも大幅に削減される。さらに、新しくリリース、または更新されたアプリで新しいUIスタイルやトレンドを経験できるため、常に最新のトレンドを追従可能だ。

Source and Image Credits: Wu, J., Krosnick, R., Schoop, E., Swearngin, A., Bigham, J. P., & Nichols, J.（2023）. Never-ending Learning of User Interfaces. arXiv preprint arXiv:2308.08726.

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  無料Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

• 

  OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始

• 

  OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明

• 

  ChatGPTでフィッシングサイトを自動検出する方法　NTTセキュリティが開発　精度は98％以上

• 

  YouTubeで不正に収益化する6つの悪用方法、米研究者らが分析結果を公開