クローラー
seo対策で使われる「クローラー」とは、グーグル等の検索エンジンが
Webにあるファイル全般を収集するプログラムのことです。
ファイルの種類としてはHTML文書に限らず、画像やPDFファイルまで含まれています。
システムによって収集データがインデックス化され、膨大な量の
データベースが作成されるわけです。
グーグルでは用途に応じて複数の収集プログラムを有しており、
通常のWeb検索ではGooglebotが担当し、画像検索ではGooglebot-Imageが、
そしてモバイル検索ではGooglebot-Mobileが受け持つことになります。
クローラーといえども、全てのWebページを巡回チェック出来るわけではなく、
ページを公開しても直ぐに発見されるとは限らないわけです。
それ故、seo対策としては、収集プログラムが自分のWebサイト内を
巡回しやすくすることがポイントになります。
クローラーに収集されたくないコンテンツに関しては、robots.txt等を用いることで
制御することが可能です。また、複数URLで同じコンテンツが作成されると、
seo対策的に非効率になる場合もあるので、決まったURLをインデックス指定する
「正視化」も、収集プログラムの巡回効率を高めるための工夫として重要だと言えます。
特にWebサイトに掲載されているコンテンツ等の情報量が多くなるほど、
こうしたクローラビリティを高める工夫が必要になるわけです。
また、グーグル以外にも収集プログラムは存在しており、ヤフーにはYahoo Slurpが、
マイクロソフトにはbinghotというクロールプログラムがあります。
さらに、収集プログラムはリンクを基にしてURLを発見するプログラムなので、
seo対策としては外部のWebサイトにリンクを貼ってもらえるようにすることが
最も有効なクローラーを呼び込む手段になるわけです。