携帯検索サイトのクローラーのUser-Agent（ユーザーエージェント）とIPアドレス帯域、アクセス制限解除

携帯検索サイトや携帯ポータルサイトで使われているクローラーのユーザーエージェントとIPアドレス帯域。

携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域

• Google（グーグル）
  [User-Agent]
  Googlebot-Mobile という文字列を含む。
  例：
  DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  
  [IPアドレス帯域]
  72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
  209.85.238.0/25 (209.85.238.0 - 209.85.238.127)
• Yahoo!（ヤフー）
  [User-Agent]
  Y!J-SRD/1.0 または Y!J-MBS/1.0 という文字列を含む。
  例：
  DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
  J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
  KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
  
  [IPアドレス帯域]
  124.83.159.146 ～ 124.83.159.185
  124.83.159.224 ～ 124.83.159.247
• goo
  [User-Agent]
  mobile goo という文字列を含む。
  例：
  DoCoMo/2.0 P900i(c100;TB;W24H11)(compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
  KDDI-CA31 UP.Browser/6.2.0 (GUI) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
  Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 (compatible; ichiro/mobile goo;+http://help.goo.ne.jp/door/crawler.html)
  DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
  KDDI-CA31 UP.Browser/6.2.0.7.3.129 (GUI) MMP/2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
  Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 Profile/MIDP-2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
  
  [IPアドレス帯域]
  210.150.10.32/27
  203.131.250.0/24
• livedoor（ライブドア）
  [User-Agent]
  LD_mobile_bot という文字列を含む。
  例：
  DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
  KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
  J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
  
  [IPアドレス帯域]
  203.104.254.0/24
• DeNA モバゲータウン
  [User-Agent]
  moba-crawler という文字列を含む。
  例：
  DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)
  
  [IPアドレス帯域]
  202.238.103.126
  202.213.221.97
• froute（エフルート）
  [User-Agent]
  froute.jp という文字列を含む。
  例：
  DoCoMo/2.0 SO902i(c100;TB;W20H10) (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
  KDDI-SH32 UP.Browser/6.2.0.6.2 (GUI) MMP/2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
  SoftBank/1.0/913SH/SHJ001/SN000123456789000 Browser/NetFront/3.4 Profile/MIDP-2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
  
  [IPアドレス帯域]
  60.43.36.253
  ホスト名は、symphonybot1.froute.jp
• RFMS Crawler（楽天・ファスト・モバイルサーチ）
  [User-Agent]
  RFCrawler-Mobile という文字列を含む。
  例：
  DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/1.0; +http://www.rfms.jp/crawler.html)
  
  [IPアドレス帯域]
  216.255.229.246
  216.255.229.247
  ホスト名は、cr001.rfcrawler.com や cr002.rfcrawler.com など。

設定

携帯検索サイトや携帯ポータルサイトは、PCサイトと同様にクローラーにて各サイトの情報を検索データベースに追加・更新している。
携帯サイトを作る場合、PCなどからのアクセスを禁止するために、携帯キャリアで使われているIPアドレス帯域からのアクセスのみ許可することがある。
サイトが検索サイトの検索結果に表示されるようにするには、クローラーのIPアドレス帯域からのアクセスも許可する必要がある。

ただし、検索結果に反映されなくても良い人は、無理に設定する必要はない。
クローラーのIPアドレスはたまに変更されるため、十分注意する必要がある。
逆にクローラーのアクセスを禁止したい場合は、上記IPアドレス帯域からのアクセスを禁止する。

IPアドレス帯域の制限は、.htaccess や Apache の設定、ファイアウォールなどで行なう。

robots.txt にてクローラーのアクセスを制御することもできる。
一部のクローラーでは、robots.txt に対応していない。
ただし、クローラーが robots.txt の指示通りに動作してくれるとは限らない。

ユーザーエージェントは、各キャリアの表記ルールと異なる場合があるので注意。
クローラーの情報（IPアドレスやユーザーエージェント）は、ときどき変更される場合があるので注意。

---