MEMORVA
このエントリーをはてなブックマークに追加

はてなブックマークに記事のタイトルではなくURLが表示される現象について

更新：

だいぶ前の話だが、はてなブックマークに登録されている私のサイトの記事の多くが、タイトルではなくURLが表示されていることに気づいた。 中にはエラーページに置き換わっているものもあった。 正常に表示されていなくても特に問題がないので、この件はずっと放置していた。

ところが先日（2019年8月）、サーバーのアクセスログを確認するついでに、はてなブックマークのボットのアクセスを確認したところ以下のようなログを見つけた。 

54.92.97.59 - - [29/Aug/2019:18:50:34 +0900] "GET /robots.txt HTTP/1.1" 403 219 "-" "Hatena::Fetcher/0.01 (master) Furl/3.13"
54.250.227.185 - - [29/Aug/2019:18:50:34 +0900] "GET / HTTP/1.1" 403 209 "-" "HatenaBookmark/4.0 (Hatena::Bookmark; Analyzer)"
54.92.97.59 - - [29/Aug/2019:18:50:42 +0900] "GET / HTTP/1.1" 403 209 "-" "HatenaBookmark/4.0 (Hatena::Bookmark; Analyzer)"
35.200.15.242 - - [29/Aug/2019:18:50:42 +0900] "GET / HTTP/1.1" 200 2376 "-" "Hatena-Favicon/2 (http://www.hatena.ne.jp/faq/)"
52.68.0.227 - - [29/Aug/2019:18:50:43 +0900] "GET /favicon.ico HTTP/1.1" 403 220 "https://　　　/favicon.ico" "Hatena::Scissors/0.01"

これは、はてなでブックマーク追加時にサイト側にアクセスしてきたプログラムと思われる。

ログにあるこれらのIPアドレスを逆引きしてみると以下のようになった。

IPアドレスホスト名
54.92.97.59ec2-54-92-97-59.ap-northeast-1.compute.amazonaws.com
54.250.227.185ec2-54-250-227-185.ap-northeast-1.compute.amazonaws.com
35.200.15.242242.15.200.35.bc.googleusercontent.com
52.68.0.227ec2-52-68-0-227.ap-northeast-1.compute.amazonaws.com

どうやら amazonaws.com からアクセスしているようである。 amazonaws.com は Amazon Web Services（通称AWS）というアマゾンのサービスで使われているドメイン。 つまり、はてなはアマゾンのサーバーを利用していると思われる。

このAWSというのはサイト運営者にとって厄介な存在で、正体不明の不審なボットがここから大量にアクセスしてくることもある。 そのため .htaccess などで amazonaws.com からのアクセスを拒否している人も少なくないだろう。

私もそういった経験が過去にあり、amazonaws.com からのアクセスを拒否していた。 そのため上記ログにあるHTTPステータスコードが403（Forbidden）となっている。

試しに amazonaws.com からのアクセスを許可したところ、ブックマーク追加時にタイトルが表示されるようになった。 古いブックマークも定期的にボットがクロールしているようで、URLからタイトルに置き換わっていた。 加えてURLが http から https に置き換わっていた。

なお、URLが表示されてしまう原因は他にもある可能性もあり、AWS以外からのアクセスも考えられるので、100%解決とは行かないかもしれない。

このエントリーをはてなブックマークに追加

カテゴリ