サーバーのアクセスログにて netEstate NE Crawler というボット(クローラー)を見つけた。 以下のようなユーザーエージェントが使われている。
netEstate NE Crawler (+http://www.website-datenbank.de/)
私が確認したIPアドレスは 81.209.177.145。 ホスト名は bardolino.netestate.de となっている。
ユーザーエージェントに書かれているURLは「Website-Datenbank」という検索エンジンのトップページで、ボットに関する説明はない。 他のページを見てみると一応 robots.txt に準拠しているという記述がある。 netEstate NE Crawler のアクセスを拒否・禁止するための記述例は掲載されていないが、おそらく以下のように書けばよいと思われる。
User-agent: netEstate NE Crawler Disallow: /
netEstate GmbH はドイツにある企業で、検索エンジンなどの開発、運営をしているようである。 それにしてもドイツからのボットが多い。 .de はドイツのccTLD(カントリーコードトップレベルドメイン)。