robots.txt

robots.txtとは YahooやGoogleなどの検索エンジンはロボット（クローラー）を使ってWebページを巡回し、情報を収集して検索結果に反映させています。 そのロボットのアクセスを制限する為に「robots.t […]