今回紹介するボットはSeekportBot。 久しぶりにここ数日別件でサーバーのアクセスログを調べていたら発見した。
なぜこの手のボットは、1秒間に何十回ものアクセスをするのか。 ボットの開発者は相手のサーバーのことを何も考えていないのか。 短時間に約5000件ものアクセスがあった。 一応ユーザーエージェントにボットの仕様が書かれたURLが記されており、robots.txtも有効らしいのでまだマシだが、ひどい。
SeekportBotはドイツのseekportという検索エンジンのボットのようである。
ボットには以下のようなユーザーエージェントが使われている。
Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)
私が確認したIPアドレスは65.21.35.237で、ホスト名はcrawl1-229.oi.tb.007ac9.netなどとなっている。
ユーザーエージェントに記されているURLにアクセスすると、SeekportBotが使用しているIPアドレスのリストも掲載されている。 すべて拒否しても良いが、わりと数が多いので面倒。
一応 robots.txt が有効とのこと。 もしSeekportBotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。
User-agent: SeekportBot Disallow: /
また、Crawl-delay（クロール遅延）にも対応しており、以下のように記述できる。
User-agent: SeekportBot Crawl-delay: 2
これは最低2秒の間隔をあけてアクセスすることを意味する。
参考：Seekport Bot