※上記の画像のようにインデックス未登録が多いケースは非常に問題です。

DB型サイトなど大規模サイトのSEO対策で重要なのはクローラビリティの最適化です。

Googleクローラーが必要なページに正しい頻度でクロールしていることが最重要になります。

クロール最適化⇒インデックス最適化⇒ランキング最適化…の手順でやることが大事です。

弊社NYマーケティング株式会社のSEOコンサルティングの施策の中で、DB型サイトに対してはクロール分析を必ず実施します。弊社の社内ツールを用いてWebサーバーの生ログを分析して傾向・施策を出します。

このページでは、そのクロール分析のスポット調査サービスの説明をしていきます。

単発の調査：50万円　１ヶ月程度で納品

サービス提供の流れ、

①：Webサーバーの特定の１ヶ月分の生ログデータを提供いただく

②：サイト内で必要なページ・重要なページの情報をいただく

③：NYマーケティング側でツールを使ってログを分析

④：不要なクロールデータを分析

⑤：必要なページのクロールを分析

⑥：④と⑤のデータをスプレッドシートでまとめて提出

⑦：追加で１回のみ希望するデータのリクエストが可能

上記を約１ヶ月をかけて実施いたします。

不要なクロールデータとは

大きく２種類あります。

①現在は使用していない旧ページ
②パラメータがついたインデックス登録不要なページ

①現在は使用していない旧ページ

Webサイトを長く運用していると、過去に使用していて現在は使用していないページの削除漏れが発生します。

それらのページは内部リンクにも存在しておらず、通常では発見することができません。それにも関わらず、Googleクローラーはクロールし続けるケースがあります。

Googleクローラーは過去に発見してクロールしていたページを保持しています。サイトが完全に404ステータスを返し削除したことを伝えないと、Googleクローラーはクロールし続けます。

このようなページが大量にあると、クロールバジェットを無駄に消費し、本来必要なページへのクロールに影響します。

Webサーバーのログを分析することで、潜んでいる不要なページの発見ができ、正しい処理をすることが可能になります。

②パラメータがついたインデックス登録不要なページ

https://example.com?aaa=xxxx&bbbb=1111　のようなパラメータがついたページです。

ポータルサイトやECサイトでは検索条件を多数指定した場合、このようなパラメータがついたURLになります。

POSTで実装されたページであれば本来はGoogleはそのURLを発見できないためクロールはされませんが、何かのミスやシステムの不具合でクロールされてしまうことがあります。

このケースの場合、非常に大量のURLにクロールが発生しているケースが多く、これを放置しておくとクロールバジェットに甚大は影響が出ます。

Webサーバーのログを分析して無駄にクロールされているパラメータを分析し、これらをrobots.txtでDisallowブロックすることで、クロールバジェットを正しいURLに割り当てることができます。

必要なページのクロールを分析

前章の不要なページへのクロールを対策すると共に、必要なページへのクロール最適化を実施します。

ポータルサイトの場合、一覧ページと詳細ページへのクロール頻度が高いことが理想です。

Webサーバーのログを分析し、これらの重要なページの１ヶ月間のクロール回数を明らかにします。

同じ一覧ページでも月間３０回のページもあれば、月間１回のページもあります。クロール回数を明らかにし、そのクロール回数と内部リンクやコンテンツ量などの傾向調査に活かしていただきます。そうすることで、強いページをより強く、弱いページを強くする施策を打つことが可能になります。

10万ページ以上あるDBサイトは一度実施しておくべき

上記の通り、大規模サイトのクロール最適化は非常に重要です。

弊社のサービスでは50万円で単発で調査しレポートを提出いたします。

まずはお気軽にお問い合わせください。

クロール分析サービスについて問合せする