今回紹介するボットはserpstatbot。
ユーザーエージェントは以下の通り。
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
短時間に大量のアクセスがあった。
私が確認したIPアドレスは 88.99.244.56 で、ホスト名が static.56.244.99.88.clients.your-server.de だった。 RIPEにてIPアドレスについて調べてみると、ドイツの Hetzner Online GmbH というデータセンターに属しているようである。 使用している帯域は 88.99.244.0 - 88.99.244.63。
ユーザーエージェントに書かれているURLにアクセスしてみるとボットについての説明があり、他の糞ボットよりは良心的。 使用しているIPリストも掲載されている。 どのIPアドレスも逆引きするとドメイン(ホスト名)が your-server.de となっているので、自サーバーにてホスト名でアクセスを規制できるならその方が楽。
一応 robots.txt に対応している。 もしserpstatbotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。
User-agent: serpstatbot Disallow: /
Serpstatは、SEO(検索エンジン最適化)のツールなどを提供している会社。 Netpeak Groupの一つ。 Netpeak Groupのホームページを見ると、デフォルトの言語がロシア語なので、ロシア関係なのかもしれない。
SERPは、SEO業界などで使われている用語で、「Search Engine Result Page」の略。 要するに検索結果のページのこと。
参考: SERPSTATBOT FAQ、 Serpstat — Growth Hacking Tool for SEO, PPC and Content Marketing