robots.txt란 무엇인가?

‘robots.txt’ 파일은 웹사이트 운영자라면 반드시 알고 있어야 할 검색 엔진 최적화(SEO)의 기초이자 핵심입니다.

검색 엔진 수집을 제어하는 SEO의 첫걸음

웹사이트를 제작하고 운영하다 보면 “내 사이트가 왜 구글에서 검색이 안 되지?” 혹은 “검색 결과에 나오지 말아야 할 관리자 페이지가 왜 노출될까?”라는 고민을 하게 됩니다. 이 모든 문제의 열쇠를 쥐고 있는 것이 바로 robots.txt 파일입니다.

---

1. robots.txt란 무엇인가?

1.1 정의와 역할

robots.txt는 웹사이트의 루트 디렉토리에 위치한 텍스트 파일로, 웹 크롤러(검색 엔진 로봇)에게 사이트 내의 어떤 경로를 수집해도 되는지, 혹은 수집하면 안 되는지 알려주는 ‘로봇 배제 표준(Robots Exclusion Protocol)’ 규약입니다.

쉽게 비유하자면, 내 웹사이트라는 건물 앞에 세워둔 ‘안내 표지판’과 같습니다. “기자님들(크롤러), 1층 로비와 2층 전시실은 촬영하셔도 되지만, 3층 관리사무소와 지하 창고는 들어오지 마세요.”라고 말하는 것과 같습니다.

1.2 왜 중요한가?

많은 운영자가 오해하는 부분 중 하나는 “robots.txt가 없어도 검색이 잘 된다”는 점입니다. 네, 맞습니다. 하지만 robots.txt가 없다면 검색 로봇은 사이트의 모든 구석구석을 무분별하게 훑고 지나갑니다. 이는 다음과 같은 문제를 야기합니다.

• 크롤링 예산(Crawl Budget) 낭비: 로봇이 중요하지 않은 페이지(관리자 페이지, 임시 파일 등)를 수집하느라 정작 중요한 신규 콘텐츠를 늦게 수집하게 됩니다.
• 보안 위험: 외부에 노출될 필요가 없는 내부 경로가 검색 결과에 노출될 수 있습니다.
• 서버 부하: 너무 많은 로봇이 한꺼번에 불필요한 데이터를 긁어가면 서버 성능에 영향을 줄 수 있습니다.

---

2. robots.txt 작성법: 기본 문법

robots.txt는 아주 단순한 구조로 되어 있습니다. 하지만 대소문자 하나, 슬래시 하나에 결과가 완전히 달라지므로 정확한 문법을 익혀야 합니다.

2.1 주요 매개변수

1. User-agent: 규칙이 적용될 로봇의 이름을 지정합니다. (예: Googlebot, Yeti, * 등)
2. Disallow: 수집을 거부할 경로를 지정합니다.
3. Allow: 수집 거부 경로 내에서 예외적으로 수집을 허용할 경로를 지정합니다.
4. Sitemap: 사이트맵 파일의 전체 URL을 제공하여 로봇이 구조를 쉽게 파악하게 돕습니다.

2.2 작성 예시

1) 모든 로봇에게 모든 페이지 수집 허용

User-agent: *
Disallow:

2) 모든 로봇의 수집을 완전히 차단 (사이트 공사 중일 때)

User-agent: *
Disallow: /

3) 특정 폴더(예: 관리자 페이지)만 수집 차단

User-agent: *
Disallow: /admin/
Disallow: /private*/

4) 구글봇에게만 특정 이미지 폴더 수집 허용

User-agent: Googlebot
Allow: /images/public/
Disallow: /images/

---

3. SEO 성능을 높이는 robots.txt 활용 전략

3.1 크롤링 예산 최적화

대규모 웹사이트(이커머스, 커뮤니티 등)일수록 크롤링 예산 관리가 중요합니다. 필터링 결과 페이지, 정렬 방식에 따른 중복 URL 등을 Disallow 처리하면, 검색 엔진은 절약된 시간만큼 유익한 콘텐츠를 더 자주 확인하게 됩니다.

3.2 사이트맵(Sitemap) 명시

robots.txt 하단에 사이트맵 위치를 적어주는 것은 검색 엔진에 대한 일종의 ‘친절한 가이드’입니다.

Sitemap: https://www.yourdomain.com/sitemap_index.xml

이렇게 하면 로봇이 사이트의 전체 구조를 즉시 파악하고 색인(Indexing) 속도를 높일 수 있습니다.

3.3 중복 콘텐츠 방지

동일한 내용이 여러 URL로 생성되는 경우(예: 추적 파라미터가 붙은 URL), 이를 robots.txt에서 차단하여 검색 엔진이 혼란을 겪지 않게 할 수 있습니다.

---

4. 절대로 하지 말아야 할 실수 (주의사항)

4.1 ‘Disallow’는 ‘noindex’가 아니다

가장 흔한 착각입니다. robots.txt에서 수집을 차단한다고 해서 이미 검색 결과에 나온 페이지가 사라지는 것은 아닙니다. 다른 사이트에서 해당 페이지로 링크를 걸었다면, 검색 엔진은 내용은 모르더라도 URL은 검색 결과에 노출할 수 있습니다.

해결책: 검색 결과에서 완전히 지우고 싶다면 해당 페이지 HTML에 <meta name=”robots” content=”noindex”> 태그를 사용해야 합니다.

4.2 보안 도구로 사용하지 마세요

robots.txt는 누구나 열어볼 수 있는 공개 파일입니다. 여기에 비밀번호가 저장된 경로 등을 적어두는 것은 “여기에 중요한 게 있으니 확인해 보세요”라고 광고하는 것과 같습니다. 민감한 정보는 파일 자체에 접근 제어(Auth)를 걸어야 합니다.

4.3 파일명과 위치 엄수

반드시 파일 이름은 소문자로 robots.txt여야 합니다. Robots.txt나 robots.txt.txt는 작동하지 않습니다. 또한, 반드시 도메인의 루트 디렉토리(예: domain.com/robots.txt)에 위치해야 합니다.

---

5. 작성 후 점검하는 방법

잘못 작성된 robots.txt는 사이트 전체를 검색 결과에서 사라지게 할 수 있는 양날의 검입니다. 따라서 수정 후에는 반드시 테스트를 거쳐야 합니다.

• 구글 서치 콘솔 (Google Search Console): ‘설정 > 로봇 테스터’ 메뉴를 통해 특정 URL이 차단되었는지 확인할 수 있습니다.
• 네이버 서치어드바이저: ‘검증 > robots.txt’ 메뉴에서 내 사이트의 파일을 수집하고 오류가 없는지 체크할 수 있습니다.

6. 건강한 사이트 운영의 기본

robots.txt는 단순히 로봇을 막는 도구가 아니라, 검색 엔진과 대화하며 내 사이트의 가치를 효율적으로 전달하는 커뮤니케이션 수단입니다. 오늘 바로 여러분의 사이트 주소 뒤에 /robots.txt를 입력해 보세요. 우리 사이트의 안내 표지판이 올바르게 세워져 있는지 확인하는 것, 그것이 SEO 최적화의 시작입니다.