検索エンジンのロボットとユーザーエージェント、クローラー・Bot - Google、Yahoo、Bing、Baidu
作成：2005-09-23、更新：2010-02-16検索エンジンのロボットとユーザーエージェント。
検索エンジンのロボット
- ロボットとは
検索エンジンを運営している会社は、インターネット上のページの情報を自分たちのサーバに保存しています。
手作業で情報を集めるのは大変なので、自動で情報を収集するプログラムを使って情報を収集しています。
そのようなプログラムは、ロボット（Robot）、ボット（Bot）、クローラー（Crawler）、スパイダー（Spider）などと呼ばれています。
ロボットプログラムは、定期的にサイトを巡回して情報を更新します。
巡回頻度は、サイトの更新頻度などによりまちまちです。 - ロボットの確認
検索エンジンのロボットがサイトにアクセスすると、ロボットのユーザーエージェントがアクセス解析やApacheのログに残ります。
ただし、ロボットは基本的にJavaScriptを無視するため、JavaScriptを用いるアクセス解析では、ロボットのユーザーエージェントを取得できない場合があります。
Apacheのログを直接調べたり、WebalizerのようなApacheのログを解析するタイプのアクセス解析を使えば、ロボットのアクセスを知ることができます。 - ロボットの変更
ロボットのユーザーエージェントに Googlebot/2.1 のように書かれている場合、2.1 という数字はロボットのバージョン番号などを表します。
ロボットプログラムが更新されると、この数字が変わる場合があります。
また、ロボットの名称やユーザーエージェントが丸ごと変わる場合もあります。 - 携帯サイト向けのロボットに関しては、 携帯検索サイトのクローラー・ユーザーエージェント も合わせてご覧ください。
ロボットの種類、ユーザーエージェント - Google、Yahoo、MSN、Baidu
ここで紹介しているユーザーエージェントは、一部のものです。より詳しい情報は、各検索エンジンのヘルプなどをご確認ください。
- Google（グーグル）
通常
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
画像検索
Googlebot-Image/1.0
携帯電話
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
ホスト名（サンプル）
crawl-66-249-67-79.googlebot.com
参考
http://www.google.com/bot.html
http://www.google.com/support/webmasters/bin/answer.py?hl=jp&answer=156449 - Yahoo!（ヤフー）
通常
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
ブログ
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/)
その他
Y!J-BRO/YFSJ crawler (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html; YahooFeedSeekerJp/2.0)
Y!J-BRO/YFSJ crawler (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html; YahooFeedSeekerJp/2.0; users 0; views 28)
YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)
DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
ホスト名（サンプル）
b3091102.crawl.yahoo.net
参考
http://help.yahoo.com/help/us/ysearch/slurp
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html
http://help.yahoo.co.jp/help/jp/blog-search/ - MSN（Bing）
通常
msnbot/2.0b (+http://search.msn.com/msnbot.htm)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
画像検索
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
ホスト名（サンプル）
msnbot-65-55-109-161.search.msn.com
参考
http://search.msn.com/msnbot.htm - Baidu（百度、バイドゥ）
通常
Baiduspider+(+http://www.baidu.jp/spider/)
画像検索
BaiduImagespider(+http://www.baidu.jp/spider/)
携帯電話
DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0;+http://www.baidu.jp/spider/)
ホスト名（サンプル）
baiduspider-119-63-198-13.crawl.baidu.jp
参考
http://www.baidu.jp/spider/ - Ask
通常
Mozilla/5.0 (compatible; Ask Jeeves/Teoma; +http://about.ask.com/en/docs/about/webmasters.shtml)
Mozilla/4.0 (compatible; Ask.jp BlogCrawler/0.9; http://ask.jp/)
ホスト名（サンプル）
crawler5107.ask.com
参考
http://about.ask.com/en/docs/about/webmasters.shtml - Naver
通常
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
ホスト名（サンプル）
crawl-202-131-30-147.naver.jp
参考
http://help.naver.com/robots/ - Cuil
通常
Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
ホスト名（サンプル）
crawl-10c.cuil.com
参考
http://www.cuil.com/twiceler/robot.html - Dotbot
通常
Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)
ホスト名（サンプル）
crawl7.dotnetdotcom.org
参考
http://www.dotnetdotcom.org/ - Yandex
通常
Yandex/1.01.001 (compatible; Win16; I)
ホスト名（サンプル）
spider00.yandex.ru
参考
http://www.yandex.ru/ - その他
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html)
gooRSSreader2/2.5-build 20060314 (based on glucose)
blog search engine by BlogFan.ORG (http://www.blogfan.org/)
blogoonbot/1.0
BlogPeople Java/1.4.2_04
BlogRanking/RSS checker (http://blog.with2.net/)
Bulkfeeds/r1752 (http://bulkfeeds.net/)
DrecomBot/1.0-RSS
HatenaScreenshot/1.0 (checker)
HatenaScreenshot (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Hatena Ring/0.1 (http://ring.hatena.ne.jp)
Infoseek SideWinder/2.0R (Linux 2.6.6-1.381smp i686)
Livedoor SF - California Crawl/1.20b (http://sf.livedoor.com)
Captain NAMAAN/0.05 (www.namaan.net)
MaplogCrawler (+http://maplog.jp/)
So-net RSS Crawler
Technoratibot/0.7
Accelatech RSSCrawler/0.4
AppleSyndication/54
Biz360 spider (blogsmanager@biz360.com; http://www.biz360.com)
BLOG360 (http://site.blog360.jp/)
blogWatcher_crawler/0.2
Feedster Crawler/2.0; Feedster, Inc.
Feed::Find/0.06
Moreoverbot/5.00 (+http://www.moreover.com)
wadaino.jp-crawler 0.2 (http://wadaino.jp/)