Linespider

更新:2021-06-05

先日サーバーのアクセスログにてGooglebotを装ったボットの大量アクセスを見つけた。

その際、それとは別に偶然Linespiderというボット(クローラー)も見つけた。

その昔、NAVERが検索エンジンを作っていた頃、NAVERのボットが頻繁にサイトにアクセスしてきて、サーバーに無駄に負荷をかけていることがあった。 当時サイトを運営していた人なら知っているかもしれない。

NAVERが検索エンジンをやめ、NAVERまとめを始めて再びサイト運営者を困らせたが、それも2020年9月に閉鎖された。 その後、大人しくしていると思ったら、今もよく分からないボットを巡回させているようである。

以下のようなユーザーエージェントが使われている。

Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36

私が確認したIPアドレスは147.92.153.9で、ホスト名はcrawl.147-92-153-9.search.line-apps.com。 これ以外にもいくつかある。

APNICによると147.92.128.0 - 147.92.255.255の範囲は、NHN JAPAN(LINE Corporation)の所有となっている。

一応LINE公式サイト ヘルプセンター | linesearchbot にLinespiderの説明が掲載されている。

以下のように書かれている。

LINEサービス内で多様な検索結果を提供するためにLINEが運営するクローラーです。 Robots Exclusion Protocolに準拠しています。

記載されている内容が真実かどうか分からないが、一応robots.txtの指示に従うとしている。 もしLinespiderの全アクセスを拒否・禁止する場合は、robots.txtに以下のように記述すれば良い。

User-agent: Linespider
Disallow: /