クロールエラーとは?解決方法

クロールエラーとは?解決方法
クロールエラーとは?解決方法
クロールエラーとは?解決方法

クロールエラーは、検索エンジンがWebサイトのページにアクセスしようとして失敗した場合に発生します。まずクロールについてもう少し説明しましょう 。クロールとは、検索エンジンがボットを介してWeb サイトのすべてのページにアクセスしようとするプロセスです。 検索エンジンボットがWebサイトへのリンクを見つけ、すべての公開ページの検索を開始します。 ボット はページをクロールし 、Google検索で使用するためにすべてのコンテンツをインデックスに登録し、これらのページのすべてのリンクをまだクロールする必要があるページに追加します。Web サイトの所有者としての主な目標は、検索エンジンボットがサイトのすべてのページにアクセスできるようにすることです。 このプロセスに失敗すると、いわゆるクロールエラーが起こってしまいます。

目標は、Webサイトのすべてのリンクが実際のページに正常につながるようにすることです。例外としてはリダイレクトなどの設定を行っている場合そのリダイレクトを設定している元のページはエラーのままで問題ありませんが、そのリダイレクト先のページはエラーが起きず正常に表示されるように気を付ける必要があります。

Googleでは、クロールエラーを次の2つのグループに分類しています。

  1. サイトエラー サイト全体をクロールできないことを意味するため、サイトエラーは最速で解決するようにしましょう。
  2. URLエラー URLエラーに関してはその対象の一つのURLにのみ関連するため修正は比較的簡単ですがサイトエラーと同じようにできるだけ早く解決するようにしましょう。

それではさらに詳しく掘って解決方法を確認していきましょう。

サイトエラー

サイトエラーは、検索エンジンボットがWebサイトにアクセスするのを妨げるすべてのクロールエラーです。これには多くの理由が考えられますが、最も一般的なのは次のとおりです。

  • DNSエラー これは、検索エンジンがサーバーと通信できないことを意味します。 たとえば、サーバーがダウンしている可能性があります。これは、Web サイトに全くアクセスできないことを意味します。この問題も把握さえすれば一時的な問題なので焦らずに確実に解決しましょう。 Googleは再度あなたのウェブサイトに戻ってきて、とにかくあなたのサイトをクロールします。 Google Search Consoleにこのような通知が表示された場合は、Googleが数回クロールを試行しましたが、クロールエラーでまだ実行できなかったことを意味している可能性があります。
  • サーバー エラー Search Consoleにサーバーエラーが表示された場合、ボットはウェブサイトにアクセスできなかったことを意味します。 リクエストがタイムアウトした可能性があります。いくつかの例を挙げるなら、検索エンジンがサイトにアクセスしようとしましたが、読み込みに時間がかかりすぎたため、サーバーからエラーメッセージが表示された。サーバーエラーは、コードにページの読み込みを妨げる欠陥がある場合にも発生します。また、サイトに非常に多くの訪問者がいて、サーバーがすべてのリクエストを処理できなかったことを意味する場合もあります。これらのエラーの多くは、500や503ステータスコード などの5から始まる5xxステータスコードが表示されることが多いです。
  • ボットのクロール失敗 クロールする前に、Googlebotはrobots.txtファイルもクロールしようとします。これは、あなたのウェブサイトにインデックスに登録したくないウェブサイトの領域があるかどうかを確認するためです。そのボットがrobots.txtファイルに到達できない場合、Googleはrobots.txtファイル 到達できる までクロールを延期します。 そのため、常にrobots.txtは利用可能でり記述の仕方に問題ないか時々確認することが必要です。

上記は、サイト全体に関連するクロール エラーについての説明になります。
次に、特定のページにおいてどのようなクロールエラーが発生するかを見てみましょう。

URL エラー

前述のとおり、URLエラーとは、検索エンジンボットがWebサイトの特定のページをクロールしようとしたときに発生するクロールエラーを指します。 URL エラーについて説明するときは、404 Not Found エラーなどのクロールエラーについて最初に説明する傾向があります。これらのエラーを頻繁に確認し (Google Search Console または Bingウェブマスターツールを使用し確認)、修正する必要があります。別のページに同様の類似コンテンツがある場合は、代わりに301リダイレクトを使用してください。 サイトマップと内部リンクも最新であることを確認してください。

ところで、これらの URL エラーの多くは内部リンクが原因であることがわかりました。したがって、これらのエラーの多くはあなた自身が呼び込んだものです。 ある時点でサイトからページを削除する場合は、そのページへのインバウンドリンクも調整または削除してください。これらのリンクはもう役に立ちません。そのリンクが同じままである場合、ボットはそれを見つけてたどりますが、Webサイトで行き止まり (404 Not found エラー) を見つけるだけになります。内部リンクをときどきメンテナンスする必要があります。

もう 1 つの一般的なURLエラーは、「送信されたURL」という単語が含まれているものです。 これらのエラーは、Google が一貫性のない動作を検出するとすぐに表示されます。 一方で、あなたはインデックス登録のためにURLを送信したので、Google に「このページをインデックス登録してほしい」と伝えていることになります。 一方で、別の何かが Google に「このページをインデックスに登録しないでください」と伝えています。考えられる理由は、robots.txt ファイルがページをブロックしている可能性があります。 または、 ページがメタタグまたはHTTPヘッダーによって「noindex」とマークされていることが考えられます。これもできるだけ早期に解決する必要があります。修正しないと、GoogleはウェブサイトにURLをインデックスに登録しません。

これらの一般的なエラーの中には、その特定のURLに対するDNSエラーまたはサーバーエラーが含まれる場合がありますので問題が見つからない場合はその点も考慮して確認してみてください。その後でそのURLを再確認し、エラーが消えたかどうかを確認します。問題があればその個所を早急に修正しGoogle Search Console でエラーを修正済みとしてマークしてください。

特殊なURLエラー

一部のURLエラーは、特定のサイトにのみ適用される特殊なエラーも存在します。なかなかこのエラーに遭遇することはないと思いますが一応これらのエラーを個別に紹介したいと思います。

  • モバイル固有のURL エラー これは、最新のスマートフォンで発生するページ固有のクロールエラーを指します。 レスポンシブWebサイトを使用している場合、これらが表示される可能性はほとんどありません。レスポンシブではなくサブドメインなどを用いてURLを個別に分ける手法(例 sp.example.comや example.com/sp/ )を使っている場合、このエラーが発生する可能性があります。デスクトップサイトからそのモバイルサイトへの誤ったリダイレクトなどが設定されている場合など。robots.txt などでそのモバイルサイトの一部をブロックしている可能性もあります。
  • マルウェア エラー GoogleサーチコンソールやBingウェブマスターツールでマルウェアエラーが発生した場合は、BingまたはGoogleがそのURLで悪意のあるソフトウェアを検出したことを意味します。これは、たとえば「保護された情報を収集するため、または一般的な操作を妨害するために」使用されるソフトウェアが見つかったことを意味する可能性があります。そのページを調査し、マルウェアを削除する必要があります。
  • Google ニュースのエラー これも特殊で多くは見られませんがGoogleニュースエラーというエラーも存在します。あなたのWebサイトがGoogleニュース欄に表示されるようなニュース配信サイトなどの場合は、これらのクロールエラーが発生する可能性があります。 タイトルの欠如から、ページにニュース記事が含まれていないように見えるというエラーまで、さまざまです。これがあなたのサイトに当てはまるかどうかは、必ず自分で確認するようにしてください。

【まとめ】クロールエラーは必ず修正しよう

この記事で一番伝えたい重要なことは、クロールエラーが発生した場合は必ず修正することです。
サイトのメンテナンススケジュールの一部として、ときどきクロールエラーをチェックする必要があります。
SEO対策を行う上でGoogleサーチコンソールやBingウェブマスターツールを確認することは必須ですし私は毎日確認するようにしています。
自分のウェブページを完璧なものにするための様々なヒントを教えてくれますので皆さんもこまめに確認する習慣を身に着けてください。

SEO対策を依頼するなら弊社にお任せください。
最新のSEO対策サービスを提供します。