Apple、UI学習向けクローラーを開発 新しいスマホアプリを自動インストール、“使われ方”を自己学習:Innovative Tech
米カーネギーメロン大学や米Appleなどに所属する研究者らは、アプリストアから新しいアプリを自動でインストールし、アプリ内操作を自動で行いデータを収集するとともに、モデルを継続的に自己学習させるUI学習向けクローラーを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
米カーネギーメロン大学や米Appleなどに所属する研究者らが発表した論文「Never-ending Learning of User Interfaces」は、アプリストアから新しいアプリを自動でインストールし、アプリ内操作を自動で行いデータを収集するとともに、モデルを継続的に自己学習させるUI(ユーザーインタフェース)学習向けクローラーを提案した研究報告である。
深層学習は、モバイルアプリケーションにおいて、アクセシビリティーの向上やデザイナーへのフィードバック提供、ユーザーエンゲージメントの予測など、新しいタイプの評価を可能にしている。
しかし、これらのモデルを訓練するには大量の注釈付きデータが必要で、その収集は手作業で行われるためコストがかかるだけでなく、人為的なエラーも避けられない。この問題を解決するために、今回「Never-ending UI Learner」と呼ばれる手法を提案する。
Never-ending UI Learnerは、実際のデバイス上でアプリケーションを自動操作しつつ、UIのセマンティック(意味的)情報を学習するシステムである。このシステムは、初期のモデルトレーニングに用いるデータを除いて、全てのデータを自動で収集、注釈付けし、トレーニングする。
具体的には、アプリストアから実際のアプリを自動でインストールし、そのUIを探索して操作の前後を含めたスクリーンショットを撮影し、その情報をもとにアノテーションを生成する。そして、学習データを収集しながら、そのデータでモデルを訓練する。
このシステムは、5000時間にわたり、6461個以上のアプリで50万回以上の操作を行い、注釈が付けられたモバイルUIスクリーンショットのデータセットを作成した。得られたデータセットは、既存の人手によるデータセットよりも10倍以上大きい。このようにして収集したデータは「タップ可能性」「ドラッグ可能性」「画面の類似性」の3つのコンピュータビジョンモデルに学習させてテストが行われた。
Never-ending UI Learnerによって得られる多くの利点がある。既存の人為的な注釈データは一時的なスナップショットにすぎないが、この手法を用いることで操作前後のスクリーンショットが取得でき、より正確な注釈が可能となる。
人手によるデータ注釈が不要なため、人為的なミスが排除され、コストも大幅に削減される。さらに、新しくリリース、または更新されたアプリで新しいUIスタイルやトレンドを経験できるため、常に最新のトレンドを追従可能だ。
Source and Image Credits: Wu, J., Krosnick, R., Schoop, E., Swearngin, A., Bigham, J. P., & Nichols, J.(2023). Never-ending Learning of User Interfaces. arXiv preprint arXiv:2308.08726.
関連記事
- 無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
シンガポール国立大学と中国の浙江大学に所属する研究者らは、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告を発表した。 - OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始
The New York Timesや日経新聞など、ペイウォールを設置する複数のメディアが、生成AIのトレーニング用にコンテンツを収集するクローラーをブロックし始めている。 - OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明
OpenAIは生成AIトレーニング用データをインターネット上のWebサイトから収集する自社製クローラー「GPTBot」をひっそり紹介し、Webオーナー向けにこのクローラーのブロック方法を説明した。 - ChatGPTでフィッシングサイトを自動検出する方法 NTTセキュリティが開発 精度は98%以上
NTTセキュリティ・ジャパンに所属する研究者らは、ChatGPTでフィッシングサイトを検出する手法を提案した研究報告を発表した。 - YouTubeで不正に収益化する6つの悪用方法、米研究者らが分析結果を公開
米シカゴ大学と米パデュー大学の研究チームは、YouTubeの不正収益化行為を研究した論文を発表した。世界中のオンラインコミュニティーとYouTubeアカウント売買サイトから複数の情報を集め、分析して6つのカテゴリーに不正行為をまとめた。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.