|
|
© 2014 abhp.net All Rights Reserved. | |
SEO対策 robots.txt を効果的に設定しよう |
SEO対策 robots.txt を効果的に設定しよう「 robots.txt 」 とは、Google（Uahoo!を含む）等の検索エンジンに、クロール（検索エンジンの評価）して欲しい部分、インデックス（検索サイトに登録）して欲しい部分と、そうでない部分を伝えるためのファイルで、必ず、ファイル名を “robots.txt” にして、サイトのルートディレクトリに置く必要があります |
クロールが不要な部分は、robots.txt に記述しておくサブドメインを持つサイトで、ある特定のサブドメイン内のページをクロールさせないようにするには、そのサブドメイン用に、別の robots.txt ファイルを用意する必要があります 検索結果にコンテンツを表示させない方法は他にも、“NOINDEX”をrobotsメタタグに追加、.htaccessを使ってディレクトリにパスワードを設定、GoogleSearch Consoleを使ってすでにクロールされたコンテンツを削除するなどがあります 「Robots Exclusion Standard」に準拠している検索エンジンのロボット全てに対し、「 /image/ 」 以下にあるコンテンツ、及び、「 /search 」 で始まるURLにあるコンテンツに、アクセスもクロールもさせない場合の記述例 Google等の検索エンジンのロボット全てに対して指定する場合、「 User-agent: * 」 指定します
どのようなシチュエーションで、robots.txt を使用するか見られたくないコンテンツにはより安全な方法を使用します機密事項や見られたくないコンテンツがクロールされないようにするには、robots.txtの設置だけでは十分ではありません クロールできないように設定したURLであっても、そのURLへのリンクがインターネット上のどこか（例えばリファラーログなど）に存在すれば、検索エンジンはそのURLを参照できますし、また、Robots Exclusion Standardに準拠しない検索エンジンや不正な検索エンジンなどは、robots.txtの指示に従わないかもしれません また、好奇心の強いユーザーの中には、robots.txt にあるディレクトリやサブディレクトリを見て、見られたくないコンテンツのURLを推測して見ようとする人がいるかもしれません コンテンツの暗号化や.htaccessを使ってパスワードをかけて保護する方が、より確実で安全な手段だといえます 検索結果のようなページはクロールさせない検索結果のページから、さほど価値が変わらない別の検索結果のページへ飛んでも、ユーザーの利便性を損なうだけです 同一か、ほとんど違いがない自動生成されたページを大量にクロールさせない「重複コンテンツに近いこページは、個別にインデックスされる必要があるか検討しましょう また、プロキシサービスによって生成されたURLはクロールさせないようにします |
|
下記は、Google 「検索エンジン最適化 ( SEO ) スターターガイド」 P21 を表示しています
|
（引用） Google 「 検索エンジン最適化 ( SEO ) スターターガイド 」 |