2022.04.01
インデックスとは
Google 検索のしくみは図1の様になっていて、Googleの検索結果に自社のWebサイトを表示させるにはまずインデックスされる必要があります。インデックスされたURLを対象に、検索キーワードとの関連性やコンテンツの品質などが評価され、検索結果のランキングが決定すると認識しておきましょう。
（図1：Google 検索の仕組み）
▼関連記事
Googleは、既存のWebサイトに設置されているリンクやWebサイト管理者が通知するサイトマップを頼りに、新たなURLを発見しクロールしてインデックスに登録していますが、公開されているWebサイトのすべてのURLがインデックスする訳ではありません。また、GoogleがURLを発見してからインデックスされるまでの時間も様々ですが、SEO担当者としては管理しているWebサイトのインデックス状況を把握しておきたいものです。これを確認できるのが、インデックス カバレッジレポートとなっています。
インデックス カバレッジレポートとは
インデックス カバレッジレポートでは4つのステータスを確認することができます。それぞれステータス名をクリックすることで、該当するURL数の推移をグラフで確認することができます。推移グラフの期間は過去3ヶ月間程度となっており、それより過去のデータは蓄積されません。
（図2：インデックス カバレッジレポートの例）
インデックス カバレッジレポートではインデックス状況が下記の通り4つのステータスに分類されます。
・エラー
クロール時に、何らかのエラーが生じたURLが該当します。このステータスに該当するURLはインデックスに登録されません。
・有効（警告あり）
インデックスに登録されているものの、何らかの問題があるURLが該当します。
・有効
インデックスされているURLが該当します。
・除外
GoogleがURLを発見しているものの、インデックスに登録しなかったものを指します。
インデックス カバレッジレポートの理想的な状態は、エラーや有効（警告あり）に該当するURLが無く、インデックスさせたいURLが有効に該当している状態です。公開しているURLすべてが有効に該当する状態が理想と思われるかもしれませんが、検索結果に表示したい正規のURLがインデックスされていれば問題ありません。すべてのURLがインデックスされないのは一般的な状態です。
次章から、ステータスごとに属する型をご紹介しますが、Googleの公式ドキュメントにも詳細な情報が掲載されています。こちらも参考にしていただくことを推奨します。
参考：インデックス カバレッジ レポート - Search Console ヘルプ
各ステータスの理想的な状態と型：エラー
エラーは0件の状態が好ましいです。特に、Webサイトにとって重要なURLでエラーが出ている場合は解消する必要があります。エラーのステータスに分類される型は9種類となっていますが根本的な原因は下記の3つに分けられます。
原因1：サーバーエラー
以下の型名が該当します。これは、サーバー側の問題でGooglebot が URL にアクセスできなかったか、リクエストがタイムアウトになったか、サイトがビジー状態だったことを示します。サーバー接続のテストをおこない、エラーを解消しましょう。
・サーバーエラー（5xx）
原因2：リダイレクトのエラー
以下の型名が該当します。これは、リダイレクトの回数が多すぎる、ループしている、などリダイレクトに関して不適切な設定になっていることを示します。該当URLのリダイレクトの設定状況を確認して対処するようにしましょう。
・リダイレクト エラー
原因3：Googleに通知したURLに問題がある
以下の型名が該当します。これらは、robots.txt ファイルで参照されるサイトマップ、またはサイトマップ レポートを使用して送信されるサイトマップに記載しているURLにも関わらず、検索エンジンに対してインデックスを拒否するシグナルを送っている、もしくはGooglebotがアクセスできない状態になっているケースを示しています。サイトマップに記載するURLは、通常Webサイト管理者がインデックスさせたいURLとなるため、エラーとして表示されます。
一方で、運用上インデックスさせたくないURLをサイトマップで通知するケースもあるかもしれません。このステータスを確認する時は、エラーが出ているURLをインデックスさせたいかどうかを確認すると良いでしょう。インデックスさせたいURLの場合は、エラーの型名から原因を確認します。サイトマップで通知しているにも関わらず、robots.txt やnoindex タグでインデックスを拒否するシグナルを送っていないか、ページの内容が空になっていないか（ステータスコード200を返すコンテンツの無いページは、検索結果に表示するとユーザーの利便性を損なうため「ソフト404」と判定されてインデックスされない）、Googlebotがアクセスした時にサーバーが正常に応答する（ステータスコード200を返す）か、などを確認しましょう。
・送信された URL が robots.txt によってブロックされました
・送信された URL に noindex タグが追加されています
・送信された URL はソフト 404 エラーのようです
・送信された URL が未認可のリクエスト（401）を返しました
・送信された URL が見つかりませんでした（404）
・送信された URL が 403 を返しました
・他の 4xx の問題が原因で、送信されたURLがブロックされました
それぞれの型名をクリックすると、該当するURLが最大で1000件表示されます。これらの情報を参考にエラーの原因を特定して解消しましょう。
他の型についても同様ですが、Webサイトの修正をおこなったら型名をクリックして遷移する下記の画面から、「修正を検証」をリクエストします。
（図3：「修正を検証」のリクエスト画面）
各ステータスの理想的な状態と型：有効（警告あり）
有効（警告あり）も0件の状態が好ましいです。このステータスに該当する型は下記の2種類です。
・robots.txt によりブロックされましたが、インデックスに登録しました
この型に該当するのは、robots.txt でブロックしているURLが他のWebサイトからリンクされているケースなどです。robots.txt はクロールをブロックすることができますが、インデックスを回避する役割は持っていません。このため、ページ内容がクロールされずに検索結果に表示され、検索結果の説明文は非常に限定的なものとなります。
（図4：robots.txt でブロックしているページが検索結果に表示される例）
インデックスさせたくないURLの場合は、robots.txt でのブロックを解除したうえでnoindex タグを設置するなどインデックスを拒否する対応を取ります。インデックスさせたいURLの場合は、説明文をきちんと表示できるようrobots.txt でのブロックを解除しましょう。
・インデックス登録済みページ（コンテンツなし）
何らかの理由でコンテンツを読み取れなかったものの、インデックスされたURLが該当します。Googlebotがリクエストした時に、ユーザーに表示するコンテンツと同じものが表示されるかどうかなどを確認しましょう。
各ステータスの理想的な状態と型：有効
定期的にコンテンツを追加しているWebサイトであれば、それに連動する形で有効のURL数が増えていくのが適切な状態です。一方で、繰り返しとなりますが公開しているURLが100%インデックスされる訳ではないことも認識しておきましょう。このステータスの型は下記の2種類です。
・送信して登録されました
サイトマップで通知したURLがインデックスに登録されていることを表します。
・インデックス登録されましたが、サイトマップに送信していません
サイトマップで通知していないURLがインデックスに登録されていることを表します。
各ステータスの理想的な状態と型：除外
除外に該当するURLは、Googleがインデックス登録しないのが適切であると判断したものが含まれますが、Webサイト担当者にとってはインデックスさせたいURLがここに含まれるケースもあります。このステータスを確認する時は、意図通りにインデックスから除外されているURLとそうでないURLを区別して対応すると良いでしょう。除外のステータスに分類される型は15種類となっていますが、根本的な原因は大きく6つに分けられます。
原因1：Webサイト管理者が意図的に除外している
以下の型名が該当します。Googleが、Webサイト管理者が意図的にインデックスから除外したいURLである、と認識したものです。インデックスさせたいURLがこれらの型に該当している場合は、設定に不備がある可能性があるため確認しましょう。
・noindex タグによって除外されました
・ページ削除ツールによりブロックされました
・robots.txt によりブロックされました
・代替ページ（適切な canonical タグあり）
・ページにリダイレクトがあります
原因2：ページが削除されている
以下の型名が該当します。削除したURLがここに表示されているのであれば問題ありません。もし、ページの移動をおこなったURLであれば301リダイレクトの設定などを検討しましょう。
・見つかりませんでした（404）
原因3：Googleがクロールできない状態になっている
以下の型名が該当します。これは、400番台のステータスコードが返され、GooglebotがクロールできなかったURLです。意図的にクロールさせたくない場合は問題ありませんが、そうでない場合はGooglebotがアクセスした時にサーバーが正常に応答する（ステータスコード200を返す）か、などを確認しましょう。
・未承認のリクエスト（401）が原因でブロックされました
・アクセスが許可されていないため、ブロックされました（403）
・その他の 4xx の問題が原因でブロックされました
原因4：Googleの判断により除外されている
以下の型名が該当します。これは、GoogleがURLを認識してクロールしたうえで、インデックスする必要がないと判断したURLが該当します。重複するURLが存在し正規ページに選ばれなかった、ソフト404と判定された、などが理由となります。
・重複しています。ユーザーにより、正規ページとして選択されていません
・重複しています。送信されたURLが正規URLとして選択されていません
・ソフト 404
上記の型名ひとつめとふたつめの場合は明示的に正規URLを指定すると良いでしょう。正規URLの指定については下記の記事でも紹介しています。
▼関連記事
原因5：GoogleがWebサイト管理者の指定に従っていない
以下の型名が該当します。これは、Webサイト管理者が正規URLを指定しているものの、Googleがその指示に従わずに別のURLを正規としてインデックスしたURLが該当します。これに該当するURLをURL検査ツールで確認すると、Googleが選択した正規のURLを確認することができます。
・重複しています。Googleにより、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
原因6：Googleの処理の問題
以下の型名が該当します。これは、Webサイト側でインデックスを拒否するシグナルを送っていないもののインデックスされていないURLが該当します。前者はクロールしたけれどインデックスされていないURL、後者はクロールされていないURLとなっています。インデックスされていない理由が明確に示されている訳ではないため、インデックスさせたい場合の明確な対処方法を見つけるのが困難な型ともいえます。
・クロール済み - インデックス未登録
・検出 - インデックス未登録
▼関連記事
どのくらい細かく確認するべき？
数万ページを超えるような大規模なWebサイトや、1日に大量に新しいWebページが公開されるような更新頻度の高いWebサイトは、Googlebotのリクエスト状況や除外となっているURLのクロール状況を細かく把握・分析することで、非正規URLのクロールコントロールなどインデックス促進のための打ち手を見つけられることがあります。
上記に該当しないWebサイトの場合は、すべての項目を細かくモニタリングする重要性はあまり高くありません。普段の運用では以下の状態が維持できていれば問題ないと判断してよいと思います。
・エラーステータスと有効（警告あり）に該当するURLがない
・有効ステータスに該当するURL数が横ばいもしくは増加傾向になっている
・除外ステータスに該当するURLはインデックスさせる必要がない
一方で、特定のステータスや型に該当するURLの数が急激に変化するようなことがあれば、何か不具合が起きている可能性がありますので、原因を調査し問題があれば修正をおこなうことを推奨します。
まとめ
インデックス カバレッジレポートは、管理しているWebサイトのインデックス状況の把握に非常に役立ちますが、クロールやインデックスの仕組みを理解していないと型名を見てもどういう状況なのかわかりにくいこともあると思います。特に除外のステータスは型名が多岐に渡るため対応すべきかどうか悩むこともあるかもしれません。また対応方法の決定も困難なことがあります。
インデックス周りで課題をお持ちの場合は当社にお問い合わせください。
▼関連資料
