はてなブックマーク
X
Bluesky
Facebook
Pocket

DataForSeoBot

更新:

今回発見したボットはDataForSeoBot。

ユーザーエージェントは以下の通り。

Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)

私が確認したIPアドレスは 88.198.0.120 や 116.202.192.48 で、ホスト名は static.88-198-0-120.clients.your-server.de などとなっている。

2023年くらいからは 136.243.228.198 などのIPアドレスを確認。 ホスト名は crawling-gateway-136-243-228-198.dataforseo.com などとなっている。

公式サイト(ユーザーエージェントに書かれているURL)にアクセスしてみると、ボットについての説明が記載されている。 IPアドレスについては現在以下の帯域が使われているとのこと。

IPv4:
136.243.220.208/29
136.243.228.176/29
136.243.228.192/29

IPv6:
2a01:4f8:271:6283::/64
2a01:4f8:271:6284::/64
2a01:4f8:271:6285::/64

一応robots.txtに対応している。 もしDataForSeoBotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。

User-agent: DataForSeoBot
Disallow: /

DataForSeoは、その名の通りSEO(検索エンジン最適化)のためにウェブサイトのデータを収集し、ウェブマスターなどにその情報を提供している。

参考:DataForSEO Link Bot


はてなブックマーク
X
Bluesky
Facebook
Pocket