네이버사이트등록 › 검색최적화(SEO)란? › SEO 용어사전

robots.txt란?

robots.txt는 도메인 최상위에 두는 텍스트 파일로, 검색로봇에게 어떤 페이지를 수집해도 되고 어떤 페이지는 안 되는지 알려주는 규칙표입니다.

쉽게 말하면

건물 입구에 붙이는 출입 안내문입니다. "전체 개방", "이 방은 출입 금지" 같은 규칙을 적어 두면 검색로봇이 그 규칙을 따라 움직입니다.

왜 중요한가요

홈페이지가 검색에 안 나오는 원인 1순위가 이 파일입니다. 제작 중에 검색 노출을 막아 두는 Disallow: / (전체 차단) 설정이 오픈 후에도 그대로 남아 있는 사례가 매우 흔합니다. 이 상태면 서치어드바이저에 등록해도 수집 자체가 거부됩니다.

확인 방법

• 브라우저 주소창에 내도메인/robots.txt를 입력해 열어 봅니다.
• User-agent: * 아래에 Disallow: /가 있으면 전체 차단 상태입니다 — 즉시 수정해야 합니다.
• Allow: / 또는 Disallow가 비어 있으면 정상(수집 허용)입니다.
• 네이버서치어드바이저의 검증 → robots.txt 메뉴에서도 확인·수정 요청이 가능합니다.

함께 보면 좋은 용어