このエントリーをはてなブックマークに追加

SeekportBot

更新:

今回紹介するボットはSeekportBot。 久しぶりにここ数日別件でサーバーのアクセスログを調べていたら発見した。

なぜこの手のボットは、1秒間に何十回ものアクセスをするのか。 ボットの開発者は相手のサーバーのことを何も考えていないのか。 短時間に約5000件ものアクセスがあった。 一応ユーザーエージェントにボットの仕様が書かれたURLが記されており、robots.txtも有効らしいのでまだマシだが、ひどい。

SeekportBotはドイツのseekportという検索エンジンのボットのようである。

ボットには以下のようなユーザーエージェントが使われている。

Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)

私が確認したIPアドレスは65.21.35.237で、ホスト名はcrawl1-229.oi.tb.007ac9.netなどとなっている。

ユーザーエージェントに記されているURLにアクセスすると、SeekportBotが使用しているIPアドレスのリストも掲載されている。 すべて拒否しても良いが、わりと数が多いので面倒。

一応 robots.txt が有効とのこと。 もしSeekportBotの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述する。

User-agent: SeekportBot
Disallow: /

また、Crawl-delay(クロール遅延)にも対応しており、以下のように記述できる。

User-agent: SeekportBot
Crawl-delay: 2

これは最低2秒の間隔をあけてアクセスすることを意味する。

参考:Seekport Bot


このエントリーをはてなブックマークに追加