＝＝＝＝＝＝＝＝＝
人気のダウンロード資料
【1位】
SEOに強い記事を作るための構成シート
【2位】
SEOチェックシート【全53項目】
【3位】
ECサイトSEO対策完全マニュアル
＝＝＝＝＝＝＝＝＝
Googleのクローラーとは、Webサイト間を巡回するロボットのことです。
SEOでのランク付けは、クロールされることから始まるため、SEO対策はクローラーの動きを理解するところから始まるといっても過言でありません。
本記事では、Googleのクローラーの概要や、申請・拒否する方法、確認する方法などGoogleのクローラーに関することを網羅的にお伝えします。
NYマーケティングにはSEO14年の実績があります
Youtubeを見る
《 SEO動画を毎週更新!! 》
➡SEOノウハウがギュッと詰まった成功事例を見る
Googleのクローラーとは？
Googleのクローラーとは、Webサイト間のリンクをたどる（クロール）ことによって、ページ情報をスキャンする、Googlebotと呼ばれるロボットのことです。
「クローラー」（「ロボット」や「スパイダー」と呼ばれることもあります）は、ウェブページ間のリンクをたどることによってウェブサイトを自動的に検出し、スキャンするプログラムを指す総称です。Google のメインのクローラーは Googlebot と呼ばれます。
引用：Google クローラーとフェッチャーの概要（ユーザー エージェント）│ Google検索セントラル
クローラーを理解することは内部SEO対策をするうえで重要です。なぜなら、キーワードでのランキングは「クロール→インデックス→ランキング」のステップを踏むため、クロールを最適化しないことには、ランキングもされないためです。
そのため、内部SEO対策は「クロールを最適化する」ところから始まるといって過言ではありません。
EC・ポータルサイトのSEOにお困りですか？
NYマーケティングなら日本でも数少ない「大規模サイトのSEO」を支援！
⇒SEOコンサルティングのページを見てみたい
Googleのクローラーの種類は？
GoogleのクローラーはGooglebotと呼ばれ、複数の種類があります。ここでは、理解しておいた方がよい2つの種類のクローラーについて解説します。
スマートフォン用Googlebot
Googleは2023年5月にモバイルファーストインデックス（MFI）に完全以降したと発表しました。モバイルファーストインデックスは、「ページ評価の軸をスマートフォン向けページにする」という発表です。
これにより、今まではパソコン用Googlebot（パソコン用ページをクロールするクローラー）がクロールしたページを評価対象としていたところから、スマートフォン用Googlebot（スマートフォン用ページをクロールするクローラー）がクロールしたページを評価するようになりました。
つまり、スマートフォン用Googlebotはページ評価をするための、重要なクローラーなのです。
パソコン用Googlebot
モバイルファーストインデックス後も、モバイル対応できていないサイトは、パソコン用Googlebotが今後もクロールし続けます。
また、モバイルファーストインデックスが導入されたからといって、モバイル対応できているサイトに対し、パソコン用Googlebotが全くクロールしなくなった訳ではありません。
自サイトに、どの種類のGooglebotがどれくらいの割合でクロールしているかは、Google Search Consoleの「設定」→「クロールの統計情報」の「Googlebotタイプ別」を見ると確認できます。
NYマーケティングにはSEO14年の実績があります
Youtubeを見る
《 SEO動画を毎週更新!! 》
➡SEOノウハウがギュッと詰まった成功事例を見る
Googleのクローラーにクロールの申請をする方法
多くのサイト運営者は、新規でページを公開した際やページをリライトした際、Googleのクローラーにできるだけ早くページをクロールされたいかと思います。
ここでは、クローラーにクロールのリクエスト申請をする方法と、巡回頻度を高める方法について解説します。
Google Search ConsoleのURL検査ツールでリクエスト申請する（URL数が少ない場合）
Google Search Consoleを導入している場合、「URL検査ツール」を使います。
Google Search Consoleの「URL検査」をクリックした後、検索窓にクローラーにクロールして欲しいページのURLを貼り付けてクリックします。
そうすると以下のような画面が表示されますので、「インデックス登録をリクエスト」をクリックします。
1～2分程待って、「インデックス登録をリクエスト済み」と表示されると、リクエスト申請が完了となります。
XMLサイトマップを送信する（URL数が多い場合）
多数のURLをクローラーに巡回してもらいたい場合、XMLサイトマップを使用します。
XMLサイトマップとは、ファイル形式のもので、ファイルをサーバー上に設置しておくと、Googleのクローラーが効率的にクロールを行えます。
XMLサイトマップは、WordPressのプラグインやツールを利用して作成できます。
▼XMLサイトマップの例
Googleのクローラーの巡回頻度を高める方法4つ
ここでは、上述した申請方法に加え、よりGoogleのクローラーに巡回されやすくするための方法について解説します。
①内部リンクを最適化する
クローラーは、サイト内のリンクをたどることによってページ情報を把握していきます。そのため、サイト内でリンクが途切れてしまって孤立しているページは、クロールされづらい状況にあります。
また、リンクジュースという考え方があります。これは、あるページから別のページにリンクが貼られるとリンク先のページにページ評価が渡る、という考えです。
このように、自サイト内でリンクが途切れて孤立してしまっていると、クロールされづらいだけでなく、他のページからリンクジュースも渡らないため、ページの評価がつきづらい状況にあります。
ページ評価が低い場合、クローラーは巡回の優先度を下げる傾向にあります。そのため、クロールの巡回頻度を高めるためには、自サイト内の内部リンク状況を見直してみましょう。
②外部リンク（被リンク）を獲得する
クローラーは、内部リンクだけでなく、外部サイトからのリンク（外部リンク）からも、リンクをたどってページ情報を把握します。
そのため、外部サイトからどのようにしてリンクを獲得するかを考えて、施策として実行するかが重要になってきます。このような施策を被リンク獲得戦略や被リンク営業といいます。
③サイト構造を最適化する
サイトの階層が深くなればなるほど、クローラーにクロールされづらくなります。そのため、重要なページはできるだけTOPページから浅い階層に設置するようにしましょう。
例えば、サイト内でアクセスが多いページは、グローバルナビゲーションやハンバーガーメニュー・フッターなどから、ユーザーが常時遷移しやすい形にする等、工夫ができます。
また、パンくずリストを設置し、クローラーに対し、現在どの階層にいるかを示してあげることが必要です。パンくずリストを設置することで、クローラーが階層構造を理解しやすくなるだけでなく、パンくずリストの内部リンクをたどることによって、クロールしやすくなるためです。
④【大規模サイト向け】クロールバジェットを最適化する
ECやポータルサイトのようなページ数が多い大規模サイトは、クロールバジェットが最適化できていないと、Googleのクローラーの巡回が最適化されません。
クロールバジェット（Crawl Budget）とは、Googleのクローラーがサイトのクロールに割くリソースを表す概念のことです。１つのWebサイトに対してGoogleのクローラーがクロールするページ数の上限があることを示します。
そして、サイト規模が大きくなるほど、このクロールバジェットは制限されやすくなります。
そのため、大規模サイトはこのクロールバジェットを最適化できないと、クロールの巡回が最適化できないため、注意が必要です。クロールバジェットの対策は以下の記事で解説しています。
NYマーケティングにはSEO14年の実績があります
Youtubeを見る
《 SEO動画を毎週更新!! 》
➡SEOノウハウがギュッと詰まった成功事例を見る
Googleのクロール状況の確認方法
ここでは、実際にGoogleのクローラーがサイト内にどれくらい巡回しているかを確認する方法を解説します。確認はGoogle Search Consoleからできます。
ページ単位のクロール状況を確認する方法
ページ単位で確認する場合、Google Search Consoleの「URL検査」もしくは上部の検索窓からURLを入力してください。
その後、「ページのインデックス登録」の箇所をクリックします。
「ページのインデックス登録」のアコーディオンを開くと「クロール」と記載してある箇所があり、ここでクロール状況が確認できます。
重要なページであるにも関わらず、「前回のクロール」が、だいぶ前で間隔が空いている場合は、改善余地がある状況です。
なぜなら、サイトオーナーとしては重要なページだと認識しているにも関わらず、Googleのクローラーは頻度高くクロールしておらず、重要なページだと認識していないからです。
クローラーは質の高いページを優先的にクロールするため、コンテンツ改善も視野に入れましょう。
サイト単位のクロール状況を確認する方法
サイト単位でクロール状況を確認するには、Google Search Consoleの「設定」→「クロールの統計情報」を開くと確認できます。
ここでは、サイト内でどれくらいクロールリクエストがあったのかや、レスポンス別・ファイル形式別・目的別・Googlebotタイプ別の情報が閲覧可能です。
クロール頻度の状況は、上記のキャプチャ画像の赤枠で囲んだ「クロール リクエストの合計数」で確認できます。日ごとのクロール状況を過去90日まで確認でき、サイト全体のクロール状況を確認する際に利用できます。
【大規模サイト】サイト全体でページ種類別のクロール状況を確認する方法
大規模サイトの場合は、サイト内でどのページにどれくらいの頻度でクロールしているかチェックし、クロール性を改善する必要があります。サーバーの生ログを解析すればそれができます。
生ログを解析する場合、自社で生ログ解析ツールを開発するか、botifyという大規模サイト向けのSEOツールを導入することがおすすめです。もし、botify導入に興味がある場合は、販売パートナーである弊社NYマーケティングまでお問い合わせください。（NYマーケティングのSEOコンサルとbotifyのセット販売となります）
NYマーケティングにはSEO14年の実績があります
Youtubeを見る
《 SEO動画を毎週更新!! 》
➡SEOノウハウがギュッと詰まった成功事例を見る
Googleのクローラーの巡回を拒否する方法
自サイト内に、クローラーがクロールする必要がないページが存在する場合もあるでしょう。例えば、会員限定コンテンツやテスト用のページなどがあります。
クローラーの巡回を拒否する場合は、robots.txtファイルを使用します。
robots.txtファイルとは、クローラーにサイトのどの部分へのアクセスを許可するかを記述した、テキストファイルです。
robots.txtファイルに「Disallow:クロールを許可しないURLパス」と記述することで、クロール拒否の設定ができます。例えば、以下の例では「includes」ディレクトリのクロールを拒否しています。
User-agent: *
Disallow: /includes/
User-agent: Googlebot
Allow: /includes/
Sitemap: https://example.com/sitemap.xmlDisallowの記述は、記述の仕方を間違えると他のディレクトリのクロールも拒否してしまうため、記述には注意が必要です。もし不安な場合は、専門家に相談しましょう。
Googleのクローラーについてよくある質問
ここでは、Googleのクローラーに関するよくある質問について、お答えします。
Googleのクローラーが来ないのはなぜ？
Googleのクローラーが来ていない状況は、以下2つが大きな要因として考えられます。
- クローラーにとってクロールする価値がないページだと認識されている
- 該当ページへのリンクが不充分である
1は、ページあるいはサイト全体で、高品質なコンテンツが少ない場合に発生することが多いです。現に、Googleは高品質なコンテンツを優先してクロールしていることに言及しています。
Google のシステムでは、高品質で有用なコンテンツをすばやく表示することを優先しています。
引用：URLの再クロールをGoogleにリクエストする │ Google検索セントラル
あるいは、新規ドメインの公開して間もないサイトはGoogleからの評価がついていないために、クロールされないことがあります。
2は、テクニカルなことが原因です。具体的には、内部リンク・外部リンクが該当ページに不足していて、孤立してしまっているため、クローラーがページの存在を認知できていない状況です。そのため、内部・外部のSEO対策を実践する必要があります。
Googleのクローラーはいつ来てくれるの？
Googleの公式ドキュメントによると、Googleのクローラーは数日から数週間かけてクロールしていると言及しています。
もしも、なかなかクロールされない場合は、「Googleのクローラーに申請する方法」で紹介した2つの方法を試してみてください。
NYマーケティングにはSEO14年の実績があります
Youtubeを見る
《 SEO動画を毎週更新!! 》
➡SEOノウハウがギュッと詰まった成功事例を見る
まとめ：SEO対策はクロールを意識することから
ページがランクインされるためには、「クロール→インデックス→ランキング」のステップを踏まないと、そもそも順位がつきません。
そのため、SEO対策はクロールを意識することから始まると言っても過言でありません。
ただし、クローラーの動きを理解して施策として実行するためには、SEOの専門的な知識が必要になります。
弊社NYマーケティングはSEO歴14年のナレッジと実績があります。特に、ECやポータルサイトといった大規模サイトの内部SEOを得意とし、ポータルサイトのPV数を月間1億PVまで伸ばした実績があります。
Googleのクロールに関することのような専門的なSEO対策でお困りな際は、お気軽にお問い合わせください。初回無料相談を承っております。
■おすすめ記事
