robots.txt에 대한 완벽 가이드북

robots.txt는 웹사이트의 검색 엔진 최적화를 위한 기본입니다.

robots.txt가 어떻게 설정이 되었는지에 따라 사용자들이 볼 수 있는 사이트의 상태가 변경하기 때문에 잘 설정하는 것이 중요합니다.

이번 시간에는 robots.txt이 무엇이고 어떻게 설정해야 하는지 알아보도록 하겠습니다.

robots.txt란?

robots.txt는 검색 엔진 로봇에게 웹사이트를 어떻게 크롤링 해야 하는지 가이드를 해주는 역할을 합니다. 또한 크롤러에게 URL의 어느 부분에 액세스 가능한지 아닌지의 여부를 알려주며 웹사이트의 사이트맵을 가이드 하는 역할을 합니다.

robots.txt는 항상 사이트의 루트 폴더 또는 메인 디렉터리에 위치해야 하며 대부분 텍스트 파일로 설정이 되어 있습니다.

이 파일이 미치는 영향은 여러 가지가 있습니다

웹페이지에 robots.txt를 사용하게 되면 검색 크롤러에 의한 페이지의 과부화를 방지할 수 있습니다. 사이트에 중요하지 않은 페이지 또는 중복이 되는 페이지가 있다면 굳이 크롤링이 필요하진 않겟죠?

robots.txt로 크롤링 트래픽을 관리하기 위해 이러한 페이지의 크롤링을 방지하는 것입니다. 하지만 여기서 명심해야 할 것은 이 파일을 이용해 웹페이지를 검색 결과에서 숨기면 안된다는 것입니다.

robots.txt 파일로 이미지, 동영상과 같은 미디어 파일이 검색 결과에 노출되지 않게 할 수 있습니다. 사용자가 이미지, 동영상 파일에 연결하는 것은 막을 수 없으니 참고 바랍니다.

페이지에 큰 영향을 주지 않는 요소가 있을 경우 robots.txt 파일로 이러한 리소스를 차단할 수 있습니다. 그러나 페이지에 중요한 영향을 끼치는 리소스는 이 파일을 사용해 차단하게 된다면 검색 크롤러가 페이지를 이해할 수 없기 때문에 그것을 주의해야 합니다.

robots.txt도 제한 사항 몇 가지가 있습니다.

robots.txt가 페이지 모든 범위를 차단할 수 없기 때문에 다른 차단 방법을 알아보는 것도 중요합니다. 또한 설정할 때의 상황과 목표에 따라 설정하는 것이 중요하기 때문입니다.

모든 크롤러가 같은 지침을 따르지 않습니다. 다시 말해, 각 크롤러마다 준수할 지침이 다르다는 것입니다.

robots.txt 지침을 잘 따를 수 있는 잘 제작된 크롤러가 있는 반면 그러지 못한 크롤러도 많기 때문입니다. 이러한 크롤러로부터 정보를 보호하기 위해서는 비밀번호를 이용해 서버 액세스를 차단하는 방법이 있습니다.

모든 크롤러가 같은 해석 능력을 가지고 있지 않습니다. 같은 지침이어도 다르게 해석을 할 수 있기 때문에 정확한 단어와 구문을 이해하고 사용해야 합니다.

단순히 robots.txt 만으로 액세스를 허용하지 않게 페이지 설정을 해도 다른 사이트에서 연결이 된다면 구글에서 색인이 됩니다.

URL 주소를 포함한 페이지의 앵커 텍스트와 기타 정보가 구글 검색 결과에 노출될 수 있는 위험이 있습니다. URL이 구글 검색 결과에 나타나지 않게 하려면 noindex 메타 태그를 사용하거나 서버에 비밀번호를 걸어 놓는 것이 좋습니다.

여러 가지 용도로 robots.txt를 설정하기 위해선 어떤 용어와 규칙이 있는지 알아야 합니다. 쓰이는 용어를 이해를 한 뒤, 규칙을 설정하고 싶다면 도메인 주소에 /robots.txt를 입력하고 설정할 수 있습니다.

user-agent	규칙이 적용되는 크롤러
disallow	유저 에이전트의 디렉터리 또는 페이지 크롤링을 차단
allow	유저 에이전트의 디렉터리 도는 페이지 크롤링을 허용 (구글봇에만 적용 가능)
sitemap	웹사이트의 모든 리소스를 나열한 목록 파일

크롤링 봇으로는 Googlebot(구글), Yeti(네이버), Bingbot(빙), Slurp(야후) 등이 있습니다.