【クロールバジェット対策】低品質ページの見直し・削除、URLの正規化をする

クロールバジェットという言葉に聞き慣れない方も多いと思います。

クロールバジェットとは、1つのWebサイトに対してGoogleクローラーがクロールするページ数の上限値のことです。

Googleクローラーは毎日世界中のWebサイトをクロールして情報を収集していますが、無限にリソースがあるわけではないため、1つのWebサイトに対しての1日?(頻度は不明確)にクロールするページ数の上限を定めています。

▽内部対策について重要な記事
SEO内部施策・内部対策 ECサイトのSEO対策 ポータルサイトのSEO対策

目次

数千以下のページ数しかないサイトには関係ない

数千以下の URL 数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう。(引用:https://webmaster-ja.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html

上記はGoogleウェブマスター向け公式ブログで書かれていたことです。逆に言えば万単位のページ数があるサイトは、クロールバジェットを気にしないといけないということです。

普通にワードプレスとかでメディアを運営している場合、万単位のページ数になることはほぼありません。

万単位のページ数になるサイトは、ポータルサイトやECサイトになります。検索機能の充実や商品ページの増加によってページ数は増え続けていきます。

サイト設計の見直しなどSEOのためのメンテナンスを怠っていると、Googleクロールの頻度が下がり、全体的にじわじわ順位が下がり流入が下がってしまう恐れがあります。

サーチコンソールで地道に対策を継続する

ページ数が多いサイトがクロールバジェットを効率的に使うためにするべきことは、シンプルにクロールしてほしくないページを減らすことです。

大規模サイトを運営している場合、気付かないうちに以下のような低品質のページが増えていることが往々にしてあります。

・404ページ
・ソフト404ページ
・検索条件の組み合わせページ

404ページは「ページが存在しません」的なページですね。商品ページなど掲載が終了したページがサイト内にリンクが残っていると、Googleはリンクをたどってクロールするため、1クロール無駄にしてしまいます。

ソフト404ページは、ステータスコードは404を返していないが、コンテンツの中身がない低品質ページのことです。紹介文が少ない末端の商品ページの大量作成、検索条件の掛け合わせで大量の内容の薄いページがクロールされてしまうことがあります。

特にソフト404と検索条件の組み合わせページの制御が重要です。

どちらもサーチコンソールのカバレッジからページを発見し、1つずつ地道に対応していきましょう。

あわせて読みたい
404ページの取扱い方法(ポータルサイト・ECサイトは特に重要) 意外と盲点になりがちな404ページの取り扱い。特にポータルサイトやECサイトだと、末端ページの店舗や商品の掲載が終了し、404ページになるケースが多いです。 404ペー...
あわせて読みたい
ソフト404とは?サーチコンソールを使って改善しよう ソフト 404 とは、URL にアクセスしたときに、ページが存在しないことをユーザーに伝えるページを表示し、200 レベル(成功)のコードを返すエラーのことです。コンテン...

検索条件の組み合わせページのサイト設計とURL正規化

例えば「エリア」「業種」「こだわり」などの検索軸のサイトがある場合、これらの掛け合わせで無数のページができてしまいます。

エリア×業種×こだわりの3つの条件までは、ユーザーの需要にもマッチするためインデックスさせたいですが、こだわりが2つ3つ指定されたページをインデックスさせてしまうと、無限の掛け合わせでページが量産されてしまいます。

そういった細かいページは、noindexかcanonicalの指定で制御します。さらにそれらのページへのリンクをサイト内に配置しないことが大切です。noindex、canonicalでページ単位でのURL正規化は行えますが、ページへのリンクがサイト内にあるとGoogleはクロールしてしまうため、クロールバジェットを消化してしまいます。

あわせて読みたい
noindexタグとは?書き方・SEOにおける効果と注意点 noindexタグは、検索エンジンからのインデックスを拒否するメタタグです。 低品質なページや、類似するコンテンツにnoindexタグを記述することで、検索順位に悪影響を及...

Googleの分析によると、付加価値の低いページがサイトに多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。

本来クロールしてほしい重要なページにクロールが集まるように、不要なページへの対策は継続していきましょう。

あわせて読みたい
URLの正規化とは?SEOとの関連性や確認方法、対策を解説 URLの正規化を行うと、SEOへの良い影響を期待できます。検索エンジンからの評価を分散させなくするからです。 この記事では、URLの正規化の詳細や具体的な対策、自サイ...
あわせて読みたい
XMLサイトマップの送信で低品質ページの把握ができる 以前、低品質ページの見つけ方の記事を書きましたが、XMLサイトマップを設定しておけば、より見つけやすく便利になります。 XMLサイトマップはGoogleにインデックス登録...

▼おすすめ記事集

あわせて読みたい
【ECサイトSEO対策完全マニュアル】キーワード調査からカテゴリ設計まで 「ECサイトを自社で運営しているがSEO対策がうまくいっていない」「これからECサイトを立ち上げる予定だがSEOで何をしたらいいかわからない」 そんなお悩みを持っている...
あわせて読みたい
【ポータルサイトのSEO対策】イチから作るときのサイト設計方法と戦略策定方法 ラーメン屋を探すポータルサイトを例にして考えます。ポータルサイトをイチから作るときには、SEO対策を大前提として設計や戦略を構築していく必要があります。 ポータ...
あわせて読みたい
自然な被リンク・外部リンクを増やす。被リンク分析とリンクビルディング戦略 2022年現在、被リンク(外部リンク)はSEOにおいて重要視されている項目の1つです。Google公式も、サイトを評価する上で被リンクを重要な指標としていることを明言して...
あわせて読みたい
被リンク営業、被リンク獲得方法【実用・実践編】 SEO対策をする上で被リンクは最も重要です。 SEO対策の相談が最近多くなり、チームでナレッジを共有するため、改めて最新の被リンク獲得方法や被リンク営業先をまとめま...
あわせて読みたい
検索意図を分類・分析し、上位表示を目指す方法【SEOノウハウ公開】 コンテンツSEOにおいて、ユーザーの検索意図を読み解き、ユーザーにとって満足感の高いコンテンツを作成することが至上命題です。 この記事では、検索意図の重要性、そ...
よかったらシェアしてね!
  • URLをコピーしました!

この記事を書いた人

SEO歴13年、過去に月間1億PVまでWebサイトをグロース。ポータルサイトSEO、コンテンツマーケティングSEOなど、幅広いジャンルの順位UP・売上UP実績が豊富。YoutubeでSEO動画を大量配信中。『オリジナルSEOハンドブック【無料】』を配布中!!

目次
閉じる