【クロールバジェット対策】低品質ページの見直し・削除、URLの正規化をする

2024 4/15

2024年4月15日

＝＝＝＝＝＝＝＝＝
人気のダウンロード資料
【1位】
SEOに強い記事を作るための構成シート
【2位】
SEOチェックシート【全53項目】
【3位】
上位表示させるためのSEO構成作成マニュアル
＝＝＝＝＝＝＝＝＝

クロールバジェットという言葉に聞き慣れない方も多いと思います。

クロールバジェットとは、１つのWebサイトに対してGoogleクローラーがクロールするページ数の上限値のことです。

Googleクローラーは毎日世界中のWebサイトをクロールして情報を収集していますが、無限にリソースがあるわけではないため、１つのWebサイトに対しての１日？（頻度は不明確）にクロールするページ数の上限を定めています。

▼この記事を動画で見る

「SEO専門家集団」
NYマーケティングに相談する

SEO動画150本以上！
SEOの基本からマニアックな動画まで毎週更新！
YouTubeを見る

➡SEOノウハウがギュッと詰まった成功事例を見る

数千以下のページ数しかないサイトには関係ない

数千以下の URL 数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう。（引用：https://webmaster-ja.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html）

上記はGoogleウェブマスター向け公式ブログで書かれていたことです。逆に言えば万単位のページ数があるサイトは、クロールバジェットを気にしないといけないということです。

普通にワードプレスとかでメディアを運営している場合、万単位のページ数になることはほぼありません。

万単位のページ数になるサイトは、ポータルサイトやECサイトになります。検索機能の充実や商品ページの増加によってページ数は増え続けていきます。

サイト設計の見直しなどSEOのためのメンテナンスを怠っていると、Googleクロールの頻度が下がり、全体的にじわじわ順位が下がり流入が下がってしまう恐れがあります。

＝＝＝＝＝＝＝＝＝
EC・ポータルサイトのSEOにお困りですか？
NYマーケティングなら日本でも数少ない「大規模サイトのSEO」を支援！
⇒SEOコンサルティングのページを見てみたい

＝＝＝＝＝＝＝＝＝
NYマーケティングでは「SEOでの成果に行き詰まっている」企業様に、SEOコンサルティングの支援をしています。まずはカジュアルにご相談ください！
⇒サービス紹介ページはこちら

サーチコンソールで地道に対策を継続する

ページ数が多いサイトがクロールバジェットを効率的に使うためにするべきことは、シンプルにクロールしてほしくないページを減らすことです。

大規模サイトを運営している場合、気付かないうちに以下のような低品質のページが増えていることが往々にしてあります。

・404ページ
・ソフト404ページ
・検索条件の組み合わせページ

404ページは「ページが存在しません」的なページですね。商品ページなど掲載が終了したページがサイト内にリンクが残っていると、Googleはリンクをたどってクロールするため、１クロール無駄にしてしまいます。

ソフト404ページは、ステータスコードは404を返していないが、コンテンツの中身がない低品質ページのことです。紹介文が少ない末端の商品ページの大量作成、検索条件の掛け合わせで大量の内容の薄いページがクロールされてしまうことがあります。

特にソフト404と検索条件の組み合わせページの制御が重要です。

どちらもサーチコンソールのカバレッジからページを発見し、１つずつ地道に対応していきましょう。

検索条件の組み合わせページのサイト設計とURL正規化

例えば「エリア」「業種」「こだわり」などの検索軸のサイトがある場合、これらの掛け合わせで無数のページができてしまいます。

エリア×業種×こだわりの３つの条件までは、ユーザーの需要にもマッチするためインデックスさせたいですが、こだわりが２つ３つ指定されたページをインデックスさせてしまうと、無限の掛け合わせでページが量産されてしまいます。

そういった細かいページは、noindexかcanonicalの指定で制御します。さらにそれらのページへのリンクをサイト内に配置しないことが大切です。noindex、canonicalでページ単位でのURL正規化は行えますが、ページへのリンクがサイト内にあるとGoogleはクロールしてしまうため、クロールバジェットを消化してしまいます。

Googleの分析によると、付加価値の低いページがサイトに多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。

本来クロールしてほしい重要なページにクロールが集まるように、不要なページへの対策は継続していきましょう。

「SEO専門家集団」
NYマーケティングに相談する

SEO動画150本以上！
SEOの基本からマニアックな動画まで毎週更新！
YouTubeを見る

➡SEOノウハウがギュッと詰まった成功事例を見る

■おすすめ記事

よかったらシェアしてね！

URLをコピーしました！

この記事を書いた人

中川裕貴 1億PVの男

Twitter：@ny__marketing
NYマーケティング株式会社代表取締役。
オトコなら誰でも知っている『ポケパラ』をつくった人。最大で月1億PVまでグロース。その後、NYマーケティング株式会社を創業。大規模サイトSEOが得意。YouTubeでは鬼マニアックなSEO情報を発信中。
詳しいプロフィールはこちら。