携帯検索サイトのクローラーのUser-Agent（ユーザーエージェント）とIPアドレス帯域、アクセス制限解除 - Google、ヤフー、モバゲータウン、エフルート
2009-01-11携帯検索サイトや携帯ポータルサイトで使われているクローラーのユーザーエージェントとIPアドレス帯域について。
Google、ヤフー、モバゲータウン（DeNA）、エフルート（froute）、ライブドア、goo、楽天など。
携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域
- ユーザーエージェントとIPアドレス帯域
- Google（グーグル）
[User-Agent]
Googlebot-Mobile という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
[IPアドレス帯域]
72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
209.85.238.0/25 (209.85.238.0 - 209.85.238.127)
詳しくは、 Google モバイルウェブクローラー を参照。 - Yahoo!（ヤフー）
[User-Agent]
Y!J-SRD/1.0 または Y!J-MBS/1.0 という文字列を含む。
例：
DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
[IPアドレス帯域]
124.83.159.146 ～ 124.83.159.185
124.83.159.224 ～ 124.83.159.247
詳しくは、 モバイル版Yahoo!検索の検索エンジン（クローラー）について を参照。 - goo
[User-Agent]
mobile goo という文字列を含む。
例：
DoCoMo/2.0 P900i(c100;TB;W24H11)(compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
KDDI-CA31 UP.Browser/6.2.0 (GUI) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 (compatible; ichiro/mobile goo;+http://help.goo.ne.jp/door/crawler.html)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
KDDI-CA31 UP.Browser/6.2.0.7.3.129 (GUI) MMP/2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 Profile/MIDP-2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
[IPアドレス帯域]
210.150.10.32/27
203.131.250.0/24
詳しくは、 モバイルgoo 携帯検索クローラについて を参照。 - livedoor（ライブドア）
[User-Agent]
LD_mobile_bot という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
[IPアドレス帯域]
203.104.254.0/24
詳しくは、 モバイルサイト検索用のクローラーについて を参照。 - DeNA モバゲータウン
[User-Agent]
moba-crawler という文字列を含む。
例：
DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)
[IPアドレス帯域]
202.238.103.126
202.213.221.97
詳しくは、 moba-crawler を参照。 - froute（エフルート）
[User-Agent]
froute.jp という文字列を含む。
例：
DoCoMo/2.0 SO902i(c100;TB;W20H10) (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
KDDI-SH32 UP.Browser/6.2.0.6.2 (GUI) MMP/2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
SoftBank/1.0/913SH/SHJ001/SN000123456789000 Browser/NetFront/3.4 Profile/MIDP-2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
[IPアドレス帯域]
60.43.36.253
ホスト名は、symphonybot1.froute.jp
詳しくは、 froute-crawler を参照。 - RFMS Crawler（楽天・ファスト・モバイルサーチ）
[User-Agent]
RFCrawler-Mobile という文字列を含む。
例：
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/1.0; +http://www.rfms.jp/crawler.html)
[IPアドレス帯域]
216.255.229.246
216.255.229.247
ホスト名は、cr001.rfcrawler.com や cr002.rfcrawler.com など。
詳しくは、 RFCrawlerクローラ情報 を参照。
- Google（グーグル）
- 携帯検索サイトや携帯ポータルサイトは、PCサイトと同様にクローラーにて各サイトのページを検索データベースに追加・更新を行なっています。
携帯サイトを作る場合、PCなどからのアクセスを禁止し、携帯電話からのみアクセスできるようにすることがよくありますが、その場合、上記クローラーのアクセスも禁止してしまい、検索サイトの検索結果にサイトの内容が反映されません。
そこで、クローラーのIPアドレス帯域は、アクセス可能なIPアドレスとして設定し、各検索サイトの検索結果に反映されるようにする必要があります。
検索結果に反映されなくても良い人は、無理に設定する必要はありません。
逆にアクセスを禁止したい場合は、上記IPアドレス帯域からのアクセスを禁止します。 - 携帯検索サイトは、PCで有名なグーグルやヤフー以外に、携帯に特化した検索ポータルサイトがあります。
それらのサイトには、アクセス数が多いサイトもあるので、クローラーに対応しておくと良いかもしれません。 - IPアドレス帯域の制限は、.htaccess や Apache の設定、ファイアウォールなどで行ないます。
- robots.txt にてアクセス制限をすることもできます。
一部のクローラーでは、robots.txt に対応していません。
詳しくは上記で紹介している各クローラーの仕様のページをご確認ください。 - ユーザーエージェントは、各キャリアの表記ルールと異なることがあるので注意が必要です。
- 上記クローラーの情報（IPアドレスやユーザーエージェント）は、ときどき変更される場合があるので、随時各サイトをご確認ください。