【SEO】はてなブログではカスタムURLを絶対に設定すべき4つの理由 - テストステ論

でお話したとおり、私はカスタムURL化に完全に振り切るために、過去のURLを全部捨てて、全エントリにカスタムURLを設定しました。それから2週間ほど経って、新しいURLでのインデックスは少しずつ進みつつあるのですが、あることが原因で、クローラが私のブログを巡回する効率が悪くなっていることがわかりました。全エントリをカスタムURL化のようなぶっとんだことをしないでも、エントリを消すことはあると思います。今回話すことは、このようなケースにも適用出来ます。

そもそもクローラとは

私は検索技術に特段詳しいわけではないので想像になりますが、クローラというのは、ネット上にある記事を探して、それを解析するソフトウェアのロボットのようなものだといえると思います。記事を探す際に、リンクをたどっていくわけですが、「リンク階層が浅い方が有利」と言われるのはこれが理由です。解析では、HTMLの構造や書いてる言葉を利用してインデックス（索引。言葉からページにたどり着くための情報）を作るということだと思いますが、今ならばもっと複雑なことをしてる気もします。

今、私のテストステ論の記事が少しずつインデックスされているのは、記事のURLは捨てましたが、トップページ（ドメイン）自体を捨てたわけではないので、グーグルがすでに知ってるある程度実績のあるトップページからリンクをたどっているからだと思います。カテゴリだったり、ページネーションだったり、出来るだけ記事に素早くたどり着けるリンクを用意するのが良いと言われるのは、これが理由です。ドメインの売買というビジネスが成立するのもこれが理由でしょう。

私のブログに起きている症状

Adsenseに起きていること

今、私のAdsenseは以前に比べるとほとんど広告がついていない状態で、その理由はアドクローラのエラーと言っています。アドというのは、広告のことです。

たぶん、アドクローラというのは、名前から推察するにふつうのクローラの広告版で、記事を見て、どこに広告を入れられるかとか広告関連のことを判断するクローラのことでしょう。ふつうのクローラが集めた情報を共有して使っているように思います。つまり、グーグルの検索エンジンが「このページは存在する」と思ったページをアドクローラが追加でクロールするということです。

実際に、詳細を見てみると、

消したURLのページを必死にクロールしようとして、「見つからない」と言ってるのだとわかります。(Page Not Found)

さらに悪いことに、「見つからない」ページを必死に探そうとして何度もアクセスして、サーバ負荷を高めています。(Server Overloaded)

サーチコンソールに見たことない表示が

サーチコンソールを見ると、今まで見たことない表示がありました。

「クロールしたけどインデックスしてない」という表示は以前にも見たことがありましたが、「見つけたけどインデックスしてない」という表示は見たことがありません。これは調べてみると、「見つけたけどサーバの高負荷などが原因でクロール出来なかった」ということを意味しているそうです。

自分で何度もアクセスして高負荷にしておいて、それが理由でクロール出来なかったというのは自作自演に近い行為だと思いますが、それはともかく、対策する必要があります。

無効となったURLを放置するのは良くない

今私は、「見つからなかった」と言われたURLの削除をちまちまとサーチコンソールに申請しています。これは非常に骨の折れる作業ですがやるしかありません。おそらく、長時間経てば、グーグルが自然に「このページはなくなった」ということを学習すると思いますが、ずっとエラーが出続けるのも精神衛生的に悪いというのと、インデックスがどうやって回復していくかという実験的な意味もあり、それにとっては雑音でしかないため、毎日1時間くらいちまちま作業しています。

今思えば、カスタムURLに全部切り替えるというのであれば、まずはじめに既存のURLを全部削除申請すべきでした。（例えばサイトマップから全部調べることが出来ます）そしてグーグルに過去のURLを忘れてもらった上で、新しくカスタムURLを与えるということにすれば、こんなことは起きなかったと思います。

全てをカスタムURLに切り替えるということ自体オススメするわけではないし、ふつうは転送設定をすべきだと思いますが、そのような極端な場合でなくとも、あまり見られていないという理由などで記事を削除する場合には、削除したURLの削除をすることをオススメします。