네이버사이트등록 › 검색최적화(SEO)란? › SEO 용어사전

크롤링(수집)이란?

크롤링(Crawling, 수집)은 검색로봇이 홈페이지를 직접 방문해 페이지 내용을 읽어가는 과정입니다. 네이버의 검색로봇 이름은 예티(Yeti)입니다.

쉽게 말하면

검색로봇은 인터넷을 돌아다니며 페이지를 읽는 자동 방문객입니다. 사람처럼 화면을 보는 게 아니라 페이지의 코드(HTML)를 읽고, 페이지 안의 링크를 따라 다음 페이지로 이동합니다. 이렇게 읽어간 내용이 색인의 재료가 됩니다.

왜 중요한가요

수집 → 색인 → 노출 세 단계의 첫 관문이라서, 수집이 막히면 그 뒤는 아예 진행되지 않습니다. 특히 새로 만든 홈페이지는 다른 사이트에서 연결되는 링크가 없어 로봇이 존재 자체를 모르는 경우가 많습니다. 네이버서치어드바이저 등록이 필요한 이유가 바로 이것입니다 — 로봇에게 "여기 사이트가 있다"라고 직접 알리는 절차입니다.

수집이 막히는 흔한 원인

• robots.txt가 전체 차단(Disallow: /)으로 설정되어 있는 경우 — 제작 중 테스트 설정이 남은 사례가 가장 흔합니다.
• 서버가 느리거나 자주 꺼져 있어 로봇이 접속하지 못하는 경우
• 로그인해야만 내용이 보이는 페이지 — 로봇은 로그인을 하지 못합니다.
• 자바스크립트로만 내용이 그려지는 페이지 — 로봇이 내용을 읽지 못할 수 있습니다.

함께 보면 좋은 용어