ホーム > SEO > Google スターターガイド > robots.txt を効果的に設定しよう
目次 | 元のページ 前のページ | 次のページ サイトマップ | ページEND

SEO対策 robots.txt を効果的に設定しよう


SEO対策 robots.txt を効果的に設定しよう



「 robots.txt 」 とは、Google(Uahoo!を含む)等の検索エンジンに、クロール(検索エンジンの評価)して欲しい部分、インデックス(検索サイトに登録)して欲しい部分と、そうでない部分を伝えるためのファイルで、必ず、ファイル名を “robots.txt” にして、サイトのルートディレクトリに置く必要があります



クロールが不要な部分は、robots.txt に記述しておく



サブドメインを持つサイトで、ある特定のサブドメイン内のページをクロールさせないようにするには、そのサブドメイン用に、別の robots.txt ファイルを用意する必要があります


検索結果にコンテンツを表示させない方法は他にも、“NOINDEX”をrobotsメタタグに追加、.htaccessを使ってディレクトリにパスワードを設定、GoogleSearch Consoleを使ってすでにクロールされたコンテンツを削除するなどがあります


「Robots Exclusion Standard」に準拠している検索エンジンのロボット全てに対し、「 /image/ 」 以下にあるコンテンツ、及び、「 /search 」 で始まるURLにあるコンテンツに、アクセスもクロールもさせない場合の記述例

Google等の検索エンジンのロボット全てに対して指定する場合、「 User-agent: * 」 指定します

User-agent: *
Disallow: /image/
Disallow: /search



どのようなシチュエーションで、robots.txt を使用するか



見られたくないコンテンツにはより安全な方法を使用します


機密事項や見られたくないコンテンツがクロールされないようにするには、robots.txtの設置だけでは十分ではありません

クロールできないように設定したURLであっても、そのURLへのリンクがインターネット上のどこか(例えばリファラーログなど)に存在すれば、検索エンジンはそのURLを参照できますし、また、Robots Exclusion Standardに準拠しない検索エンジンや不正な検索エンジンなどは、robots.txtの指示に従わないかもしれません

また、好奇心の強いユーザーの中には、robots.txt にあるディレクトリやサブディレクトリを見て、見られたくないコンテンツのURLを推測して見ようとする人がいるかもしれません

コンテンツの暗号化や.htaccessを使ってパスワードをかけて保護する方が、より確実で安全な手段だといえます


検索結果のようなページはクロールさせない


検索結果のページから、さほど価値が変わらない別の検索結果のページへ飛んでも、ユーザーの利便性を損なうだけです


同一か、ほとんど違いがない自動生成されたページを大量にクロールさせない


「重複コンテンツに近いこページは、個別にインデックスされる必要があるか検討しましょう
また、プロキシサービスによって生成されたURLはクロールさせないようにします




下記は、Google 「検索エンジン最適化 ( SEO ) スターターガイド」 P21 を表示しています


注. 下記は、原文PDFファイルを、iframe 表示していますので、フォーカスがPDF上に移動すると、マウススクロールできなくなります
ページの余白部分(左右の端の方)にマウスカーソルを移動すると、スクロールできるようになります




(引用) Google  「 検索エンジン最適化 ( SEO ) スターターガイド


目次 | 元のページ 前のページ | 次のページ サイトマップ | ページTOP
ホーム > SEO > Google スターターガイド > robots.txt を効果的に設定しよう
   

© 2014 abhp.net All Rights Reserved.
Google 「 検索エンジン最適化 ( SEO ) スターターガイド 」 に学ぶ SEO対策 目次
 1. Google 「 検索エンジン最適化 ( SEO ) スターターガイド 」 の紹介
 2. 適切なページタイトルを付けよう (ベストな文字数)
 3. description メタタグを設定しよう
 4. URLの構造を改善しよう
 5. ナビゲーションをわかりやすくしよう (パンくず グローバルナビ)
 6. 質の高いコンテンツを提供しよう (ユニーク情報を充実させる)
 7. 適切なアンカーテキストを書こう (ターゲットキーワードを含める)
 8. 画像の利用を最適化しよう
 9. 見出しタグ(h1、h2、h3)を適切に使おう 前のページ
10. robots.txt を効果的に設定しよう 現在のページ
11. リンクに nofollow 属性を活用しよう 次のページ
12. モバイルサイトをGoogleに知らせよう
13. 携帯ユーザーを適切に誘導しよう
14. 正しい方法でサイトを宣伝しよう  (SNSを活用)
15. 便利なツールを活用しよう

コンテンツ一覧

ページTOP
ページTOP
ページTOP
ページTOP