携帯検索サイトのクローラーのUser-Agent（ユーザーエージェント）とIPアドレス帯域、アクセス制限解除 - Google、ヤフー、モバゲータウン、エフルート
作成：2009-01-11携帯検索サイトや携帯ポータルサイトで使われているクローラーのユーザーエージェントとIPアドレス帯域について。
Google、ヤフー、モバゲータウン（DeNA）、エフルート（froute）、ライブドア、goo、楽天など。
携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域
- ユーザーエージェントとIPアドレス帯域
- Google（グーグル）
[User-Agent]
Googlebot-Mobile という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
[IPアドレス帯域]
72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
209.85.238.0/25 (209.85.238.0 - 209.85.238.127)
詳しくは、 Google モバイルウェブクローラー を参照。 - Yahoo!（ヤフー）
[User-Agent]
Y!J-SRD/1.0 または Y!J-MBS/1.0 という文字列を含む。
例：
DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
[IPアドレス帯域]
124.83.159.146 ～ 124.83.159.185
124.83.159.224 ～ 124.83.159.247
詳しくは、 モバイル版Yahoo!検索の検索エンジン（クローラー）について を参照。 - goo
[User-Agent]
mobile goo という文字列を含む。
例：
DoCoMo/2.0 P900i(c100;TB;W24H11)(compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
KDDI-CA31 UP.Browser/6.2.0 (GUI) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 (compatible; ichiro/mobile goo;+http://help.goo.ne.jp/door/crawler.html)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
KDDI-CA31 UP.Browser/6.2.0.7.3.129 (GUI) MMP/2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 Profile/MIDP-2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
[IPアドレス帯域]
210.150.10.32/27
203.131.250.0/24
詳しくは、 モバイルgoo 携帯検索クローラについて を参照。 - livedoor（ライブドア）
[User-Agent]
LD_mobile_bot という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
[IPアドレス帯域]
203.104.254.0/24
詳しくは、 モバイルサイト検索用のクローラーについて を参照。 - DeNA モバゲータウン
[User-Agent]
moba-crawler という文字列を含む。
例：
DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)
[IPアドレス帯域]
202.238.103.126
202.213.221.97
詳しくは、 moba-crawler を参照。 - froute（エフルート）
[User-Agent]
froute.jp という文字列を含む。
例：
DoCoMo/2.0 SO902i(c100;TB;W20H10) (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
KDDI-SH32 UP.Browser/6.2.0.6.2 (GUI) MMP/2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
SoftBank/1.0/913SH/SHJ001/SN000123456789000 Browser/NetFront/3.4 Profile/MIDP-2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
[IPアドレス帯域]
60.43.36.253
ホスト名は、symphonybot1.froute.jp
詳しくは、 froute-crawler を参照。 - RFMS Crawler（楽天・ファスト・モバイルサーチ）
[User-Agent]
RFCrawler-Mobile という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/1.0; +http://www.rfms.jp/crawler.html)
[IPアドレス帯域]
216.255.229.246
216.255.229.247
ホスト名は、cr001.rfcrawler.com や cr002.rfcrawler.com など。
詳しくは、 RFCrawlerクローラ情報 を参照。
- Google（グーグル）
- 携帯検索サイトや携帯ポータルサイトは、PCサイトと同様にクローラーにて各サイトの情報を検索データベースに追加・更新している。
携帯サイトを作る場合、PCなどからのアクセスを禁止するために、携帯キャリアで使われているIPアドレス帯域からのアクセスのみ許可することがある。
サイトが検索サイトの検索結果に表示されるようにするには、クローラーのIPアドレス帯域からのアクセスも許可する必要がある。
ただし、検索結果に反映されなくても良い人は、無理に設定する必要はない。
クローラーのIPアドレスはたまに変更されるため、十分注意する必要がある。
逆にクローラーのアクセスを禁止したい場合は、上記IPアドレス帯域からのアクセスを禁止する。 - IPアドレス帯域の制限は、.htaccess や Apache の設定、ファイアウォールなどで行なう。
- robots.txt にてクローラーのアクセスを制御することもできる。
一部のクローラーでは、robots.txt に対応していない。
ただし、クローラーが robots.txt の指示通りに動作してくれるとは限らない。
詳しくは上記で紹介している各クローラーの仕様のページをご確認ください。 - ユーザーエージェントは、各キャリアの表記ルールと異なる場合があるので注意。
- クローラーの情報（IPアドレスやユーザーエージェント）は、ときどき変更される場合があるので注意。