先日サーバーのアクセスログにてGooglebotを装ったボットの大量アクセスを見つけた。
その際、それとは別に偶然Linespiderというボット(クローラー)も見つけた。
その昔、NAVERが検索エンジンを作っていた頃、NAVERのボットが頻繁にサイトにアクセスしてきて、サーバーに無駄に負荷をかけていることがあった。 当時サイトを運営していた人なら知っているかもしれない。
NAVERが検索エンジンをやめ、NAVERまとめを始めて再びサイト運営者を困らせたが、それも2020年9月に閉鎖された。 その後、大人しくしていると思ったら、今もよく分からないボットを巡回させているようである。
以下のようなユーザーエージェントが使われている。
Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36
私が確認したIPアドレスは147.92.153.9で、ホスト名はcrawl.147-92-153-9.search.line-apps.com。 これ以外にもいくつかある。
APNICによると147.92.128.0 - 147.92.255.255の範囲は、NHN JAPAN(LINE Corporation)の所有となっている。
一応LINE公式サイト ヘルプセンター | linesearchbot にLinespiderの説明が掲載されている。
以下のように書かれている。
LINEサービス内で多様な検索結果を提供するためにLINEが運営するクローラーです。 Robots Exclusion Protocolに準拠しています。
記載されている内容が真実かどうか分からないが、一応robots.txtの指示に従うとしている。 もしLinespiderの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述すれば良い。
User-agent: Linespider Disallow: /