もし、自分のサイト内に公にしたくないページがあったり、サイトそのものを公にしたくなくても、Google等のロボット型サーチエンジンは自動的に情報を収集するので、検索エンジンで他ユーザーが検索した時にヒットしてしまう場合があります。これを回避するためには、下記のMETAタグを<head></head>の間に記述すると、自分のサイトの情報をクロール(自動収集)させないようにする事が出来ます。
<meta name="Robots" content="noindex,nofollow">
「noindex」は対象のページ、「nofollow」は対象のページからのリンク先のページを指します。どちらか一つを指定する事も出来ます。
ロボットを門前払いの続きを読む
