クローラーの動きをコントロールする　-　SEO対策

クローラーの動きをコントロールする

クローラの動きをコントロールするMeta Robotsタグの役割

※XHTMLで記述するときは、最後を「～" />」で終了します

meta robots noindex

Meta robots noindex タグは、特定のページをインデックスさせないようにする指定です

headセクションに、以下のように記述します

<meta name="robots" content="noindex">

例えば、前述のページのファイル名（URL）を変更したために、同一内容のページが複数存在してしまうような場合、旧ファイル名（URL）をインデックスから削除してもらうために使用します

また、ミラーページとして、同一内容のページを複数公開する場合も同様です
重複ページ扱いを防ぐため、ミラーページ側に、Meta robots noindex タグを使用します

なお、Meta robots noindex タグは、インデックスされることを防ぐ指定なので、クローリングは通常通り行われます
そのため、Meta robots noindex タグが記述されたページにもPageRankが付くことはあります
ページ内のリンクをたどって別ページ（別サイト）へ移動し、PageRank も渡します

クローリングそのものをさせないときは、robots.txt を使用します

meta robots nofollow

Meta robots nofollow タグは、クローラーにページ内のリンクを辿らせないようにする指定です

headセクションに、以下のように記述します

<meta name="robots" content="nofollow">

Meta robots nofollow タグを記述しておくと、クローラーはページ内にあるリンク先へアクセスしません
リンク先ページをキャッシュさせたくないときやPageRankを渡したくないときに使用します

Meta robots nofollow タグは、ページ内のすべてのリンクに対するアクセスコントロールになります
個別のリンクをコントロールしたい場合は、aタグにrel=”nofollow”属性を付けます

meta robots noindex,nofollow　⇒　Meta robots none

Meta Robots nofollowタグと、Meta Robots noindexはセットで使うのが一般的です
「 , 」（カンマ）で区切って、一緒に記述できます

<meta name="robots" content="noindex,nofollow">

「noindex」と「nofollow」を一緒に記述する場合、「none」でまとめることもできます

<meta name="robots" content="none">

meta robots noarchive

Meta Robots noarchiveタグは、特定のページをキャッシュさせないようにする指定です

headセクションに、以下のように記述します

<meta name="robots" content="noarchive">

Meta Robots noarchiveタグを記述すると、ページ内容がデータベースに保存（キャッシュ）されませんので、現存ページしか見れなくなります

セキュリティ上の理由等で、過去のデータを見せたくないような場合に使用します

<meta name="robots"> の「 robots 」について

「 robots 」の部分を、下記の各ロボット名に変更すると、特定検索サイトのロボットに対するコントロール指定になります

robots		：	すべての検索エンジン
googlebot	（グーグルボット）		Google
slurp	（スラープ）		Yahoo
msnbot	（エムエスエヌボット）		Live Search（MSN）

このページは、以下の記事を参考に作成しています
Meta robots noindex-nofollow-noarchiveタグの使い方海外SEO情報ブログ
意外に知らない、robots meta タグの7つの正しい使い方海外SEO情報ブログ

SEO対策　クローラーの動きをコントロールする