Tweet

SEO、AI関連など、その他のボット一覧

GoogleやBing以外にも多くのボットが存在し、SEO（検索エンジン最適化）関連サービスのボットも多い。 最近はAIのボットも増えている。

サーバーのアクセスログを見ると、ユーザーよりボットの方がアクセスが多いことも珍しくない。 サイトに無駄に負荷をかけているだけのスパムのようなボットも見られる。 それらのアクセスを拒否するには robots.txt に記述すれば良いが、中には robots.txt を無視するボットも存在する。 そのような場合、.htaccess にIPアドレスやホスト名でアクセスを拒否することになる。 Googleのように集客力があれば良いが、サイトのアクセスアップに貢献しないボットはサーバーに負荷をかけるだけの存在といっても過言ではない。

ここでは私が運営しているサイトのアクセスログで見かけた主なボットを紹介する。 IPアドレス、ホスト名、ユーザーエージェントは一例であり、変更されることもある。 詳しくはボットの公式サイトを参照。

検索エンジンのボットについては 検索エンジンのボット をご覧ください。 robots.txt の記述については robots.txt の設定と書き方 をご覧ください。

基本的に各ボットの説明は、ユーザーエージェントに含まれているURLに掲載されている。 ただ、悪質なボットはURLが書かれていない。

よく見かけるボット

DotBot、AhrefsBot、MJ12bot は昔から存在し、今もよく見かける。 サイトによるがアクセス頻度高め。 SEO（検索エンジン最適化）関連サービスのボットが多い。

DotBot

ユーザーエージェント

Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)

IPアドレス

216.244.66.249 など。

ホスト名

なし。

AhrefsBot

かつては softlayer.com というドメインが使われていた。

ユーザーエージェント

Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

IPアドレス

51.222.253.1、51.222.253.18 など。

ホスト名

proxy-ca000-ext2.a.ahrefs.com など。

MJ12bot

ユーザーエージェント

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

IPアドレス

193.70.81.99 など。

ホスト名

ns3036170.ip-193-70-81.eu など。

BLEXBot

ユーザーエージェント

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

IPアドレス

157.90.209.76 など。

ホスト名

ninja-crawler84.webmeup.com など。

SemrushBot

ユーザーエージェント

Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html)

IPアドレス

85.208.98.18 など。

ホスト名

bot.semrush.com など。

AI関連

GPTBot

ChatGPT、OpenAI 関連のボット。 いくつか種類がある。

GPTBot

ユーザーエージェント

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

IPアドレス

52.230.152.66 など。

ホスト名

なし。

ChatGPT-User

ユーザーエージェント

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

IPアドレス

40.84.221.208、52.156.77.145 など。

ホスト名

なし。

OAI-SearchBot

ユーザーエージェント

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot

IPアドレス

20.42.10.181 など。

ホスト名

なし。

ClaudeBot

Anthropic社のClaude（クロード）のボット。
https://www.anthropic.com/
https://claude.ai/

ユーザーエージェント

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

IPアドレス

3.147.7.185、18.191.85.98 など。

ホスト名

ec2-3-147-7-185.us-east-2.compute.amazonaws.com など。

そこそこ見かけるボット

別ページ参照。

• Amazonbot
• CCBot
• DataForSeoBot
• Linespider
• SeekportBot
• serpstatbot

その他

Applebot

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

17.241.75.70 など

17-241-75-70.applebot.apple.com など

SEOkicks

Mozilla/5.0 (compatible; SEOkicks; +https://www.seokicks.de/robot.html)

Barkrowler

Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

217.113.194.179 など

c179.babbar.eu など

Adsbot

Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)

216.18.204.215 など

ip-216-18-204-215.seostar.co など

FemtosearchBot

Mozilla/5.0 (compatible; FemtosearchBot/1.0; http://femtosearch.com)

38.126.157.40 など

netEstate NE Crawler

netEstate NE Crawler (+http://www.website-datenbank.de/)

81.209.177.145 など

bardolino.netestate.de など

petalbot

Mozilla/5.0 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

114.119.144.41 など

petalbot-114-119-144-41.petalsearch.com など

Bytespider

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)

47.128.42.102 など

ec2-47-128-42-102.ap-southeast-1.compute.amazonaws.com など

AwarioBot

Mozilla/5.0 (compatible; AwarioBot/1.0; +https://awario.com/bots.html)

65.21.113.244 など

pot37.webmeup.com など

Domains Project

Mozilla/5.0 (compatible; Domains Project/1.3.7; +https://domainsproject.org)

99.255.100.228 など

pool-99-255-100-228.cpe.net.cable.rogers.com など

日本のボット

日本の企業、団体、研究機関などが運用しているボット。

ICC-Crawler

NICTユニバーサルコミュニケーション研究所

ICC-Crawler/2.0 (Mozilla-compatible; ; http://ucri.nict.go.jp/en/icccrawler.html)

202.180.34.186、61.86.246.72

gw.ucri.jgn-x.jp またはホスト名なし。

Cotoyogi

データサイエンス共同利用基盤施設

Mozilla/5.0 (compatible; Cotoyogi/4.0; +https://ds.rois.ac.jp/center8/crawler/)

IP範囲：157.1.136.4 - 157.1.136.11

ホスト名なし。

Steeler

東京大学・喜連川研究室

Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

IP範囲：157.82.156.129 - 157.82.156.254

ホスト名：crawl247.tkl.iis.u-tokyo.ac.jp など

その他のボット

マイナーなボット、たまにしか見かけないボット、サービスが終了したボットなど。

Wotbox

Wotbox/2.01 (+http://www.wotbox.com/bot/)

Linguee Bot

Linguee Bot (http://www.linguee.com/bot; bot@linguee.com)

188.138.9.42 など

atlantic464.serverprofi24.de など

spbot

Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )

45.55.239.97 など

TurnitinBot

TurnitinBot (https://turnitin.com/robot/crawlerinfo.html)

199-47-87-141.ip87.iparadigms.net など