クローラーとは、Web上のサイト・画像・動画などの情報を集め、データベースに保管するプログラムのことです。私たちが検索エンジンでスムーズに検索できるのはこのクローラーが情報を集めてくれているお陰です。ロボットやスパイダーとも呼ばれます。
クローラーというのはサイトの情報を収集するプログラムの総称で、有名どころだと「Googlebot（Google）」や「bingbot（マイクロソフト）」などがあります。
クローラーに見つけてもらう
公開したばかりのサイトをクローラーがすぐに見つけてくれるとは限りません。
クローラーに見つかりやすくし、サイト内を巡回しやすいように工夫することを「クローラビリティ」と呼び、これがSEO対策の基本となります。
クローラーは文字しか理解できない
人に何かを伝える場合、画像や動画はとても重要な要素となります。
しかし、そうした記事は人には分かりやすくとも、そこに画像・動画があるということしか分からないクローラーにはあまり意味がありません。
▲画像が画像であることしか分からない
なので、クローラーに記事の内容を理解させるために、しっかりとテキストでも補完してあげましょう。
因みに、クローラーに分かりやすいサイト作りを「クローラビリティ」というのに対し、人に分かりやすいサイト作りを「ユーザビリティ」と言います。
▲例）ユーザビリティが低い
SEO対策をする場合、「ユーザビリティ」と「クローラビリティ」両方を兼ね備えたサイトを作っていくことが重要になってきます。
クローラビリティを高める
Googlebotに着目した場合、クローラビリティを高めることは必然的にユーザビリティも高めることに繋がります。
すぐに実践できる代表的なSEO対策を挙げていきましょう。
・分かりやすいディレクトリ構造
・関連性のある内部リンク
1つずつ順に見ていきます。
分かりやすいディレクトリ構造
上の図のようなディレクトリ構造は、トップページからのカテゴリーが雑多になりすぎていて、ユーザーからもクローラーからも分かりにくい構造になってしまっています。
関連性のあるテーマどうしディレクトリにまとめることで、クローラーからはもちろん、ユーザーにも分かりやすいサイト構造になります。
関連性のある内部リンク
クローラーはリンクを辿ってクロールしていきます。
そして、Googleは関連性の高いリンク先を評価します。上位表示させたいからと言って、関連性の低いページへの内部リンクは極力削除しておきたいところです。
クローラーがクロールしてくれなくなる？
クローラーには「クロールバジェット」と呼ばれる、所謂クロールの限界のようなものがあります。
サイト内にリンクが無数にある場合、クローラーが全てのページを巡回してくれなくなる可能性があるというもの。
しかし、結論から言うと「クロールバジェットは気にする必要はない」です。
クロールバジェットに関してのインタビューでGoogleのジョン・ミューラー氏はこう述べています。
引用元：https://webtan.impress.co.jp/e/2016/08/19/23592
上記のことから、Webページ制作者が管理者のみであるようなサイトではクロールバジェットの心配をする必要はほとんどないと言えます。
「クローラー」のおさらい
・クローラーはサイトの情報を収集するプログラム
・クロールバジェットは気にしなくていい
関連用語
その他参考になる記事
・クローラーって何!? SEOに絶対必要！サイトの情報を取得させ、検索結果に表示させよう：ferret
・クローラーとは？SEOに必要な基礎知識とクローリングを最適化する方法：innova
