robots.txt 때문에 수집이 안 될 수도 있나요

네 그렇습니다. 이 경우가 생각보다 많습니다.

홈페이지 제작 직후 테스트 목적으로 모든 검색로봇을 차단해 두고 그대로 오픈하는 경우가 흔합니다. 도메인 뒤에 /robots.txt 를 붙여 접속해 보세요.

Disallow 아래에 슬래시 하나만 있다면 전체 차단 상태입니다. 이것만 풀어도 수집이 재개됩니다.