クロールバジェットとは？最適化する方法
Google は、サイト上のすべてのページを常に即座にスパイダーするわけではありません。場合によっては数週間かかることもあります。これは SEO の取り組みの妨げになる可能性があります。新しく最適化されたランディング ページはインデックスに登録されない可能性があります。この時点で、クロール バジェットを最適化する時期が来ました。この記事では、「クロールバジェット」とは何か、そしてそれを最適化するために何ができるかについて説明します。
クロールバジェットとは何ですか?
クロールバジェットとは、Google がサイト上で 1 日にクロールするページの数です。この数値は毎日わずかに変化しますが、全体的には比較的安定しています。 Google はサイト上で毎日 6 ページをクロールする可能性があります。 5,000 ページをクロールする可能性があります。毎日 4,000,000 ページをクロールすることもあります。 Google がクロールするページの数、つまり「バジェット」は、通常、サイトのサイズ、サイトの「健全性」（Google が検出したエラーの数）、およびサイトへのリンクの数によって決まります。これらの要素の中には、あなたが影響を与えることができるものもあります。それについては後ほど説明します。
クローラーはどのように機能しますか?
Googlebotのようなクローラーは、サイト上をクロールするURL のリストを取得します。そのリストを体系的に調べます。時々 robots.txtファイルを取得して、各 URL のクロールが許可されていることを確認し、URL を個別にクロールします。スパイダーが URL をクロールしてコンテンツを解析すると、そのページで見つかった新しい URL を追加し、To-Do リストにクロールバックする必要があります。
いくつかのイベントによって、Google は URL をクロールする必要があると感じることがあります。コンテンツを指す新しいリンクが見つかったか、誰かがそのコンテンツをツイートしたか、XML サイトマップ内で更新された可能性などが考えられます。Google が URL をクロールするすべての理由のリストを作成する方法はありません。しかし、そうする必要があると判断すると、それを To Do リストに追加します。
クロールバジェットが問題になるのはどのような場合ですか?
Google がサイト上の多くの URL をクロールする必要があり、多くのクロールを割り当てている場合、クロールの予算は問題になりません。ただし、サイトに 250,000 ページがあり、Google はこの特定のサイトで毎日 2,500 ページをクロールするとします。一部 (ホームページなど) は他のものよりも多くクロールされます。何も行動を起こさない場合、Google がページへの特定の変更に気づくまでに最大 200 日かかる可能性があります。クロールの予算が今問題になっています。逆に1日5万クロールであれば全く問題ありません。
以下の手順に従って、サイトにクロールバジェットの問題があるかどうかを確認してください。これは、サイトに Google がクロールするもののインデックスに登録しない URL が比較的少数であることを前提としています (たとえば、 meta を追加したためnoindex)。
- サイトのページ数を確認します。 XML サイトマップ内の URL の数から始めるとよいでしょう。
- Googleサーチコンソールにアクセスします。
- [設定] -> [クロール統計] に移動し、1 日あたりにクロールされた平均ページを計算します。
- ページ数を「1 日あたりの平均クロール数」の数値で割ります。
- 最終的に数値が 10 を超える場合は、おそらくクロール バジェットを最適化する必要があります (つまり、Google が毎日クロールするページの 10 倍のページがあることになります)。 3 より小さい数字になった場合は、別の値を読み取ることができます。
Google はどの URL をクロールしていますか?
Google がサイト上でどの URL をクロールしているのかを必ず知っておく必要があります。サイトのサーバー ログが、それを知る唯一の「本当の」方法です。大規模なサイトの場合は、Logstash + Kibana などを使用できます。
サーバーログを取得して確認してください
ホスティングの種類によっては、ログ ファイルを常に取得できるとは限りません。ただし、サイトが大きいため、クロールバジェットの最適化に取り組む必要があると考えている場合は、クロールバジェットを最適化する必要があります。ホストがそれらの取得を許可していない場合は、ホストを変更する必要があります。
サイトのクロール バジェットを修正することは、車を修理することによく似ています。外側を見ただけではそれを解決することはできません。そのエンジンを開けなければなりません。ログを見るのは最初は怖いかもしれません。ログに多く のノイズがあることがすぐにわかります 。ナンセンスだと思われる、よくある 404 がたくさん見つかるでしょう。しかし、 それらを修正する必要があります。ノイズをかき分けて、サイトが大量の古い 404 に埋もれないようにする必要があります。
クロールのバジェットを増やす
Google がサイト上でクロールできるページ数を改善するものを見てみましょう。
ウェブサイトのメンテナンス: エラーを減らす
より多くのページをクロールさせるためのステップ 1 は、クロールされたページが 2 つの考えられる 戻りコードのいずれかを返すことを確認することです: 200 (「OK」の場合) または 301 (「リダイレクト」の場合)。他の戻りコードはすべて OK ではありませ ん 。これを確認するには、サイトのサーバー ログを調べてください。 Google Analytics やその他のほとんどの分析パッケージは、200 を提供したページのみを追跡します。そのため、サイト上で多くのエラーが見つかることはありません。
サーバー ログを取得したら、一般的なエラーを見つけて修正します。最も簡単な方法は、200 または 301 を返さなかったすべての URL を取得し、アクセス頻度で並べ替えることです。エラーを修正するには、コードを修正する必要がある場合があります。または、URL を別の場所にリダイレクトする必要がある場合があります。エラーの原因がわかっている場合は、ソースの修正を試みることもできます。
エラーを見つけるためのもう 1 つの優れた情報源は、Google Search Consoleです。
サイトの一部をブロックする
サイトに Google に含める必要のないセクションがある場合は、robots.txt を使用してブロックします。もちろん、自分が何をしようとしているのかを理解している場合にのみこれを行ってください。大規模な e コマース サイトでよく見られる問題の 1 つは、商品をフィルターする方法が数十億もある場合です。すべてのフィルタは、Google の新しい URL を追加する可能性があります。このような場合、Google がこれらのフィルタのすべてではなく 1 つまたは 2 つだけをスパイダーに許可するようにする必要があります。
リダイレクトチェーンを減らす
URL を 301 リダイレクトすると、奇妙なことが起こります。 Google はその新しい URL を認識し、その URL を ToDo リストに追加します。必ずしもすぐに続くわけではありません。それをTo-Doリストに追加して続行します。リダイレクトを連鎖させる場合、たとえば、www 以外を www にリダイレクトし、次に http を https にリダイレクトすると、どこにでも 2 つのリダイレクトが発生するため、すべてのクロールに時間がかかります。
クロールバジェットの最適化は難しい
クロールバジェットの最適化は、気の弱い人には向きません。サイトのメンテナンスを適切に行っている場合、またはサイトが比較的小さい場合は、おそらく必要ありません。サイトが中規模で、よく管理されている場合は、上記のトリックに基づいて行うのはかなり簡単です。
