Innovative Tech

無料Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

公開 2023年07月12日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。

　このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設計できる。

　生成したクローラータスクはローカルで呼び出すだけでなく、他のシステムと統合してWebサービスとしても利用できる。また、Windows、Linux、MacOSに対応しており、無料で広告もなく、オープンソースである。

EasySpiderをeBayで使用した例

　Webクローリングのためのオープンフレームワークには、Scrapy、Beautiful Soup、PySpiderなどがある。しかし、これらのほとんどは、ユーザーにWebクローラーの仕組みに関する知識やJavaやPythonなどのプログラミングスキルを要求する。単純なタスクを作成するにも、通常は多くのコードを書く必要があり、煩雑だ。

　一方、WebHarvy、Visual Scraper、Web Scraper、Octoparseなどの商用ソフトウェア製品は、プログラミングをすることなくクローラー作業を行うことができる、ユーザーフレンドリーなGUIを提供する。ただし、全ての人が購入できる価格とは限らず（「無料」とうたっているが、実際にはそうではないのもある）、また、このようなノンコーディングのクローラ製品のほとんどは、オープンソースではない。

　オープンソースのビジュアルクローラーもあるが、機能が十分でなかったり（例えばPortiaは入力フォームをサポートしていない）、メンテナンスが行き届いていなかったり、複雑なワークフローをサポートしていなかったりするため、ユーザーが自分のニーズに合わせて機能をカスタマイズしたり拡張したりするのは難しいか不可能である。

　新しいWebクローラー「EasySpider」は、これらの問題を解決するために開発されたソフトウェアである。プログラミングの経験がなくても、数回のマウスクリックだけでタスクの作成を直感的に数分で完了させることができる。

　ソースコードは公開されており、広告は表示されない。また、マニュアルに記載されている全ての機能は無料で利用できる。さらに、他のシステム（例えばDBMSやHDFSなど）と連携してマイクロサービスとしても使用できる。

　EasySpiderを評価するため、eBayでテストした。タスクを実行する際、EasySpiderは平均7％のCPUと380MBのメモリを使用した。1つのページのデータを収集するのに約6秒かかり、10ページ全てからデータを収集する全体時間は、90秒であった。

eBayで商品情報を収集するタスクに対するEasySpiderのワークフローチャート

EasySpiderの使用例

住宅情報サイトで使用している例

Source and Image Credits: Naibo Wang, Wenjie Feng, Jianwei Yin, and See-Kiong Ng. 2023. EasySpider: A No-Code Visual System for Crawling the Web. In Companion Proceedings of the ACM Web Conference 2023（WWW ’23 Companion）. Association for Computing Machinery, New York, NY, USA, 192-195. https://doi.org/10.1145/3543873.3587345

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る