携帯検索サイトのクローラーのUser-Agent(ユーザーエージェント)とIPアドレス帯域、アクセス制限解除

更新:

携帯検索サイトや携帯ポータルサイトで使われているクローラーのユーザーエージェントとIPアドレス帯域。

携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域

  • Google(グーグル)
    [User-Agent]
    Googlebot-Mobile という文字列を含む。
    例:
    DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

    [IPアドレス帯域]
    72.14.199.0/25 (72.14.199.0 - 72.14.199.127)
    209.85.238.0/25 (209.85.238.0 - 209.85.238.127)
    詳しくは、 Google モバイルウェブクローラー を参照。
  • Yahoo!(ヤフー)
    [User-Agent]
    Y!J-SRD/1.0 または Y!J-MBS/1.0 という文字列を含む。
    例:
    DoCoMo/2.0/SO502i (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
    J-PHONE/2.0/J-SH03 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
    KDDI-CA23 UP.Browser/6.2.0.5 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)

    [IPアドレス帯域]
    124.83.159.146 ~ 124.83.159.185
    124.83.159.224 ~ 124.83.159.247
  • goo
    [User-Agent]
    mobile goo という文字列を含む。
    例:
    DoCoMo/2.0 P900i(c100;TB;W24H11)(compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
    KDDI-CA31 UP.Browser/6.2.0 (GUI) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
    Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 (compatible; ichiro/mobile goo;+http://help.goo.ne.jp/door/crawler.html)
    DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
    KDDI-CA31 UP.Browser/6.2.0.7.3.129 (GUI) MMP/2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)
    Vodafone/1.0/V802SH/SHJ002 Browser/UP.Browser/7.0.2.1 Profile/MIDP-2.0 (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html)

    [IPアドレス帯域]
    210.150.10.32/27
    203.131.250.0/24
  • livedoor(ライブドア)
    [User-Agent]
    LD_mobile_bot という文字列を含む。
    例:
    DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
    KDDI-HI31 UP.Browser/6.2.0.5 (GUI) MMP/2.0 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)
    J-PHONE/3.0/J-SH10 (compatible; LD_mobile_bot; +http://helpguide.livedoor.com/help/search/qa/grp627)

    [IPアドレス帯域]
    203.104.254.0/24
  • DeNA モバゲータウン
    [User-Agent]
    moba-crawler という文字列を含む。
    例:
    DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/)

    [IPアドレス帯域]
    202.238.103.126
    202.213.221.97
  • froute(エフルート)
    [User-Agent]
    froute.jp という文字列を含む。
    例:
    DoCoMo/2.0 SO902i(c100;TB;W20H10) (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
    KDDI-SH32 UP.Browser/6.2.0.6.2 (GUI) MMP/2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)
    SoftBank/1.0/913SH/SHJ001/SN000123456789000 Browser/NetFront/3.4 Profile/MIDP-2.0 (symphonybot1.froute.jp; +http://search.froute.jp/howto/crawler.html)

    [IPアドレス帯域]
    60.43.36.253
    ホスト名は、symphonybot1.froute.jp
  • RFMS Crawler(楽天・ファスト・モバイルサーチ)
    [User-Agent]
    RFCrawler-Mobile という文字列を含む。
    例:
    DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/1.0; +http://www.rfms.jp/crawler.html)

    [IPアドレス帯域]
    216.255.229.246
    216.255.229.247
    ホスト名は、cr001.rfcrawler.com や cr002.rfcrawler.com など。


設定

携帯検索サイトや携帯ポータルサイトは、PCサイトと同様にクローラーにて各サイトの情報を検索データベースに追加・更新している。
携帯サイトを作る場合、PCなどからのアクセスを禁止するために、携帯キャリアで使われているIPアドレス帯域からのアクセスのみ許可することがある。
サイトが検索サイトの検索結果に表示されるようにするには、クローラーのIPアドレス帯域からのアクセスも許可する必要がある。

ただし、検索結果に反映されなくても良い人は、無理に設定する必要はない。
クローラーのIPアドレスはたまに変更されるため、十分注意する必要がある。
逆にクローラーのアクセスを禁止したい場合は、上記IPアドレス帯域からのアクセスを禁止する。

IPアドレス帯域の制限は、.htaccess や Apache の設定、ファイアウォールなどで行なう。

robots.txt にてクローラーのアクセスを制御することもできる。
一部のクローラーでは、robots.txt に対応していない。
ただし、クローラーが robots.txt の指示通りに動作してくれるとは限らない。

ユーザーエージェントは、各キャリアの表記ルールと異なる場合があるので注意。
クローラーの情報(IPアドレスやユーザーエージェント)は、ときどき変更される場合があるので注意。
このエントリーをはてなブックマークに追加