MEMORVA
ウェブサイト制作 HTML/JavaScript モバイル Linux 開発 サイト運営

携帯検索サイトのクローラーのUser-Agent(ユーザーエージェント)とIPアドレス帯域、アクセス制限解除

更新:

携帯検索サイトや携帯ポータルサイトで使われているクローラーのユーザーエージェントとIPアドレス帯域。

携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域



設定

携帯検索サイトや携帯ポータルサイトは、PCサイトと同様にクローラーにて各サイトの情報を検索データベースに追加・更新している。
携帯サイトを作る場合、PCなどからのアクセスを禁止するために、携帯キャリアで使われているIPアドレス帯域からのアクセスのみ許可することがある。
サイトが検索サイトの検索結果に表示されるようにするには、クローラーのIPアドレス帯域からのアクセスも許可する必要がある。

ただし、検索結果に反映されなくても良い人は、無理に設定する必要はない。
クローラーのIPアドレスはたまに変更されるため、十分注意する必要がある。
逆にクローラーのアクセスを禁止したい場合は、上記IPアドレス帯域からのアクセスを禁止する。

IPアドレス帯域の制限は、.htaccess や Apache の設定、ファイアウォールなどで行なう。

robots.txt にてクローラーのアクセスを制御することもできる。
一部のクローラーでは、robots.txt に対応していない。
ただし、クローラーが robots.txt の指示通りに動作してくれるとは限らない。

ユーザーエージェントは、各キャリアの表記ルールと異なる場合があるので注意。
クローラーの情報(IPアドレスやユーザーエージェント)は、ときどき変更される場合があるので注意。

はてなブックマーク X Bluesky