robots.txt

급한대로 nginx.conf 만으로 모두 거절하는 방법

nginx.conf
location /robots.txt {
  return 200 "User-agent: *\nDisallow: /";
}

추가 확인할 내용: robots.txt 파일과 meta robots 태그의 차이점

참고