チケットなどの“買い占め・転売”にいそしむ「スクレイパーbot」と、検知技術の戦い：「見えないWeb攻撃」──情報漏えい対策の盲点（2/2 ページ）

[中西一博，ITmedia]

スクレイピングbotの進化

　ビジネスに被害をもたらす悪性のbotのなかでも、Eコマースサイトの商品やチケットの在庫チェックおよび買い占めを狙うスクレイパーには、サイト側が用意したbot対策を巧妙に回避する高度な手法が用いられるようになってきている。

　Akamaiの調査で世界中のWebトラフィックを分析した結果、悪性botと判別されたbotのうち、37％が（botの検知が容易な）基本的なスクリプトを使用したbot、残りの63.1％が高度な技術を用いたbotが占めていることが判明した。つまり悪意のあるbotの6割以上が、bot検知を回避する高度な仕組みを持っていることになる。その内訳は、47.6％が高度なスクリプトを使用したbotで、15.5％が「ヘッドレスブラウザ」を用いたbotとなっていた。（下図）

巧妙さレベルに基づく悪性botの分布 (合計100％にならないのは四捨五入値のため)

　近年、ChromeなどのWebブラウザは、コマンドラインでブラウザの機能を操れる「ヘッドレスモード」を備えている。これと「Selenium」などのブラウザ操作を自動化するツールを組み合わせたヘッドレスブラウザがWebスクレイピングによく用いられるようになってきている。

　このようなスクレイパーは、サイト側からは普通にブラウザを使っているように見えるため、簡易なbot検知ツールが判別に用いているデバイス／OSフィンガープリントや、JavaScriptを用いた簡単な検知の仕組みだけでは、botか人間によるアクセスかの判定が難しくなってきている。これに加えて、人間に似た振る舞いを再現するなど、現在のスクレイパーの用いるbot検知策の回避手法は高度で洗練されたものに進化している。

進化したスクレイパーに対抗する新技術

　このようなスクレイパーを、ブラウザを操作するユーザーのマウスの軌跡などから「人間らしさ／botらしさ」を分析する不正ログインbot用の対策ソリューションで検知する策は現在でも有効だ。しかし、コアとなる技術の実装から約7年がたち、スクレイパーの進化に伴って細かなチューニングを要するケースが増えてきたため、新たなイノベーションが求められていた。

　そこで新たな技術基盤で開発された対策ソリューションでは、ヘッドレスブラウザの検知能力を強化。さらに、ページ遷移などのユーザーがサイト上で取る一連のふるまいなどを、AIと統計的手法を用いて繰り返し評価することで、高度なスクレイパーに特有のうごきを高精度に判別することを可能にしている。

　この最新技術を用いたスクレイパー対策は、日本を含む世界中の航空会社、旅行関連のサイトや、Eコマースサイト、価値あるビジネスデータを提供するサイトなどですでに利用が始まっている。あるサイトでは、それまで短時間に何百件と起きていた不正な予約件数がゼロになり、買い占めの撃退に成功したという。

　新たな検知の仕組みが実装可能になった背景には、最新のクラウド技術の貢献も大きい。スクレイパー特有のアクセスを見分け、アクセス中にリアルタイムに阻止のアクションをとるには、高度なAIの処理を低遅延で繰り返す必要があるが、そのワークロードを世界中に分散配置して処理する「エッジネイティブアプリケーション」として設計することで、これまでの集中型クラウドでは実現不可能であった技術の実装を可能にしている。

botと ”共存する” 未来のために

　スクレイピング行為を無断で行うbotを法的に規制することは現状では難しい。従って、スクレイパーがもたらすさまざまな悪影響からビジネスやブランドを保護するためには、それぞれの事業者がそのリスクを認識し、自衛する仕組みを磨き続ける必要がある。botを操る側の技術は日々進化しているが、それを上回るべくbot検知テクノロジーも常にアップグレードし続けている。

　今後スクレイパーは、生成AIの学習のための情報取り込みなどにも多用されていくだろう。それらを含め、さまざまなbotの良性／悪性を判断するのは、結局のところ価値あるサービスを提供している事業者だ。

　そのためにまず、botの特性を見分けて可視化できる “テクノロジーによる目” を手にすることの重要性が増している。その目を養ったうえで、サービスに押し寄せているbotをバランスよく円滑に制御できる力をつけていく取り組みこそが、botと共存する未来のために求められるようになるだろう。