今回発見したボットはDataForSeoBot。
ユーザーエージェントは以下の通り。
Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
私が確認したIPアドレスは 88.198.0.120 や 116.202.192.48 で、ホスト名は static.88-198-0-120.clients.your-server.de などとなっている。
2023年くらいからは 136.243.228.198 などのIPアドレスを確認。 ホスト名は crawling-gateway-136-243-228-198.dataforseo.com などとなっている。
公式サイト(ユーザーエージェントに書かれているURL)にアクセスしてみると、ボットについての説明が記載されている。 IPアドレスについては現在以下の帯域が使われているとのこと。
IPv4:
136.243.220.208/29
136.243.228.176/29
136.243.228.192/29
IPv6:
2a01:4f8:271:6283::/64
2a01:4f8:271:6284::/64
2a01:4f8:271:6285::/64
一応robots.txtに対応している。 もしDataForSeoBotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。
User-agent: DataForSeoBot Disallow: /
DataForSeoは、その名の通りSEO(検索エンジン最適化)のためにウェブサイトのデータを収集し、ウェブマスターなどにその情報を提供している。