네이버사이트등록 › 가이드 › 상황별

robots.txt 설정 방법

robots.txt는 검색로봇에게 수집 허용 범위를 알려주는 파일입니다. 도메인 최상위에 두며, 한 줄 차이로 사이트 전체가 검색에서 사라질 수 있는 파일이라 정확히 알아둘 필요가 있습니다.

기본 작성 예시

모든 검색로봇의 수집을 허용하고 사이트맵 위치를 알려주는 가장 표준적인 형태입니다.

User-agent: *
Allow: /
Sitemap: https://도메인/sitemap.xml

이렇게 되어 있으면 검색에 안 나옵니다

User-agent: *
Disallow: /

슬래시 하나가 전체 차단입니다. 홈페이지 제작 중 테스트용으로 걸어두고 오픈 후 잊는 경우가 매우 흔합니다. 도메인/robots.txt 로 접속해 지금 상태를 확인해 보세요.

알아두면 좋은 것

• 네이버 검색로봇의 이름은 Yeti입니다. 특정 로봇만 제어하려면 User-agent에 이름을 지정합니다.
• 관리자 페이지 등 검색에 안 나와야 할 경로만 Disallow로 지정하고 나머지는 허용하는 것이 일반적입니다.
• robots.txt 수정 후에는 서치어드바이저에서 수집 요청을 넣어야 반영이 빨라집니다.