【クロールバジェット対策】低品質ページの見直し・削除、URLの正規化をする

クロールバジェットという言葉に聞き慣れない方も多いと思います。

クロールバジェットとは、1つのWebサイトに対してGoogleクローラーがクロールするページ数の上限値のことです。

Googleクローラーは毎日世界中のWebサイトをクロールして情報を収集していますが、無限にリソースがあるわけではないため、1つのWebサイトに対しての1日?(頻度は不明確)にクロールするページ数の上限を定めています。

目次

数千以下のページ数しかないサイトには関係ない

数千以下の URL 数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう。(引用:https://webmaster-ja.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html

上記はGoogleウェブマスター向け公式ブログで書かれていたことです。逆に言えば万単位のページ数があるサイトは、クロールバジェットを気にしないといけないということです。

普通にワードプレスとかでメディアを運営している場合、万単位のページ数になることはほぼありません。

万単位のページ数になるサイトは、ポータルサイトやECサイトになります。検索機能の充実や商品ページの増加によってページ数は増え続けていきます。

サイト設計の見直しなどSEOのためのメンテナンスを怠っていると、Googleクロールの頻度が下がり、全体的にじわじわ順位が下がり流入が下がってしまう恐れがあります。

サーチコンソールで地道に対策を継続する

ページ数が多いサイトがクロールバジェットを効率的に使うためにするべきことは、シンプルにクロールしてほしくないページを減らすことです。

大規模サイトを運営している場合、気付かないうちに以下のような低品質のページが増えていることが往々にしてあります。

・404ページ
・ソフト404ページ
・検索条件の組み合わせページ

404ページは「ページが存在しません」的なページですね。商品ページなど掲載が終了したページがサイト内にリンクが残っていると、Googleはリンクをたどってクロールするため、1クロール無駄にしてしまいます。

ソフト404ページは、ステータスコードは404を返していないが、コンテンツの中身がない低品質ページのことです。紹介文が少ない末端の商品ページの大量作成、検索条件の掛け合わせで大量の内容の薄いページがクロールされてしまうことがあります。

特にソフト404と検索条件の組み合わせページの制御が重要です。

どちらもサーチコンソールのカバレッジからページを発見し、1つずつ地道に対応していきましょう。

検索条件の組み合わせページのサイト設計とURL正規化

例えば「エリア」「業種」「こだわり」などの検索軸のサイトがある場合、これらの掛け合わせで無数のページができてしまいます。

エリア×業種×こだわりの3つの条件までは、ユーザーの需要にもマッチするためインデックスさせたいですが、こだわりが2つ3つ指定されたページをインデックスさせてしまうと、無限の掛け合わせでページが量産されてしまいます。

そういった細かいページは、noindexかcanonicalの指定で制御します。さらにそれらのページへのリンクをサイト内に配置しないことが大切です。noindex、canonicalでページ単位でのURL正規化は行えますが、ページへのリンクがサイト内にあるとGoogleはクロールしてしまうため、クロールバジェットを消化してしまいます。

Googleの分析によると、付加価値の低いページがサイトに多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。

本来クロールしてほしい重要なページにクロールが集まるように、不要なページへの対策は継続していきましょう。

NYマーケティング株式会社では、「SEO対策」の初回無料相談を承っております。ホームページのお問い合わせからお送りいただくか、nakagawa.yuuki.2020@gmail.com、もしくはLINE公式までご連絡ください。
『ポータルサイト』『ECサイト』などのデータベース型SEOは中川にお任せください!!

↓↓SEOハンドブックを無料プレゼント中!!

↓ SEO対策に関する記事を更新しています。トラブル時の逆引きになれば幸いです。

あわせて読みたい
【実用・実践編】被リンク獲得手法、被リンク営業先のサイトまとめ SEO対策をする上で被リンクは最も重要です。 SEO対策の相談が最近多くなり、チームでナレッジを共有するため、改めて最新の被リンク獲得手法や被リンク営業先をまとめま...

↓ Youtubeもぜひご覧ください。

よかったらシェアしてね!

この記事を書いた人

NYマーケティング株式会社・代表取締役 中川裕貴
Webマーケティング歴13年、SEOの実績多数。ポータルサイトSEO、コンテンツマーケティングSEOなど、幅広いジャンルのコンサルティング経験が豊富。
SEO以外にもWebマーケティングの全体戦略設計から、SNSマーケ、MA設計、広告運用などWebマーケティング全般のご支援が可能です。

コメント

コメントする

目次
閉じる