robots.txt 한 줄 때문에 네이버에서 사라진 홈페이지

#SEO·AI검색2026.08.09노아 편집팀

개발 중 임시 차단·테스트 서버 설정·이관 직후 그대로 복사 — 사라진 홈페이지의 공통 이력.

robots.txt 한 줄은 홈페이지 전체를 검색에서 지울 수 있습니다. 파일 하나가 노출의 스위치입니다.

이 글은 robots.txt의 문법과 검색엔진별 봇 이름, 잘못된 설정 사례와 검증 방법을 설명합니다.

⚡ 3줄 요약

robots.txt는 검색엔진 봇에게 수집 범위를 알려 주는 텍스트 파일이며 도메인 최상위 경로에 둡니다.
Disallow 뒤에 슬래시 하나만 남으면 사이트 전체 차단이 됩니다. 오타 한 글자가 노출 전체를 막습니다.
네이버는 Yeti, 구글은 Googlebot이라는 이름을 씁니다. 봇 이름별로 규칙을 따로 줄 수 있습니다.

robots.txt는 어떻게 설정하나요?

robots.txt는 도메인 최상위 경로에 두는 텍스트 파일이며, User-agent로 대상 봇을 지정하고 Allow와 Disallow로 범위를 지정합니다. 소규모 홈페이지는 모든 봇 허용에 관리자 경로만 제외하고, 마지막 줄에 Sitemap 주소를 적으면 됩니다.

robots.txt는 잠금장치가 아니라 요청서입니다. 주요 검색엔진은 이 파일의 규칙을 따르지만, 파일에 적었다고 페이지가 비공개가 되지는 않습니다. 진짜 감춰야 하는 자료는 로그인 뒤에 두어야 하고, robots.txt에는 검색 결과에 나올 필요가 없는 경로만 적는 편이 안전합니다.

검색엔진 봇 이름은 무엇인가요?

봇 이름을 따로 나누는 이유는 검색엔진마다 허용 범위를 다르게 주고 싶을 때가 있기 때문입니다. 다만 소규모 홈페이지는 전체 지정 하나로 관리하는 편이 실수를 줄입니다. 규칙 블록이 늘어날수록 어느 규칙이 적용되는지 헷갈리고, 그 혼선이 전체 차단으로 이어지는 경우가 많습니다.

주요 검색엔진 봇 이름과 용도
검색엔진	봇 이름	비고
네이버	Yeti	국내 검색 노출의 기준이 되는 수집 봇
구글	Googlebot	웹 검색 전반 수집
구글 이미지	Googlebot-Image	이미지 검색 수집
빙	Bingbot	빙 및 일부 AI 검색 참조
전체 지정	*	봇 이름을 따로 적지 않을 때 적용되는 기본 규칙

잘못된 설정은 어떤 모습인가요?

가장 흔한 사고는 개발 기간에 넣어 둔 전체 차단 규칙을 오픈 후에도 지우지 않는 경우입니다. Disallow 뒤에 슬래시 하나만 있으면 사이트 전체가 수집 대상에서 빠집니다. 두 번째는 이미지 폴더나 CSS 경로를 통째로 막아 페이지가 깨진 형태로 인식되는 경우이고, 세 번째는 사이트맵 경로 자체를 막아 제출이 실패하는 경우입니다.

설정 후 어떻게 검증하나요?

검증은 파일을 고칠 때마다 반복하는 편이 안전합니다. 특히 홈페이지를 리뉴얼하거나 서버를 옮긴 직후에는 이전 서버의 robots.txt가 그대로 따라오는 경우가 있어, 이관 다음 날 확인 한 번이 몇 주치 노출 손실을 막습니다. 수정 후에는 수집 요청을 함께 넣어 두면 회복 시점이 앞당겨집니다.

브라우저 주소창에 도메인 뒤 robots.txt를 붙여 파일이 열리는지 확인합니다.
Disallow 뒤에 슬래시만 있는 줄이 있는지 눈으로 확인합니다.
이미지·CSS·스크립트 경로가 차단되어 있지 않은지 확인합니다.
사이트맵 경로가 차단 목록에 없는지 확인합니다.
마지막 줄에 Sitemap 주소가 적혀 있는지 확인합니다.
네이버 서치어드바이저와 구글 서치콘솔의 robots.txt 검증 기능으로 결과를 대조합니다.

그래서 지금 무엇부터 하면 되나요?

오늘 할 것

도메인 뒤 robots.txt를 열어 전체 차단 규칙이 있는지 확인합니다.
차단 규칙이 있으면 즉시 수정 요청을 보냅니다.

이번 주 할 것

검색엔진 도구의 robots.txt 검증 기능으로 주요 페이지 접근 가능 여부를 확인합니다.

맡길 것

제작사에 개발용 차단 규칙 제거와 Sitemap 한 줄 추가를 함께 요청합니다.

자주 묻는 질문

robots.txt가 없어도 되나요?

파일이 없으면 전체 허용으로 간주되므로 노출이 막히지는 않습니다. 다만 관리자 경로 제외와 사이트맵 안내를 담을 자리가 사라지므로, 짧게라도 만들어 두는 편이 관리에 유리합니다. 작성은 5분이면 끝납니다.

차단 규칙을 지우면 바로 복구되나요?

규칙을 지운다고 즉시 복구되지는 않습니다. 봇이 다시 방문해 파일을 읽어야 하므로 통상 며칠에서 몇 주가 걸립니다. 수정 후 수집 요청을 함께 넣으면 회복 시점이 앞당겨집니다. 회복 여부는 수집 문서 수로 확인합니다.

관리자 페이지는 꼭 막아야 하나요?

검색 결과에 나올 필요가 없으므로 제외해 두는 편이 좋습니다. 다만 robots.txt는 비공개 장치가 아니라 요청서이므로, 보호가 필요한 자료는 반드시 로그인 뒤에 두어야 합니다.

NOAH가 이 문제를 없애는 방식

NOAH는 검증된 템플릿 구조를 사장님 브랜드에 맞춰 7일 안에 오픈하는 홈페이지 제작 서비스입니다. 기본 ₩199,000(부가세 별도) 1회 결제에 SEO 기본 설정이 포함되어, 오픈 시점에 개발용 전체 차단 규칙을 제거하고 robots.txt와 사이트맵 경로를 함께 맞춥니다. 오픈 후 1년 텍스트 수정은 평균 1영업일에 반영되지만 구조 변경은 별도 견적입니다. 네이버·구글 사이트 등록 대행이 필요하면 ₩50,000 별도 옵션입니다. 상담은 무료이고 결정은 안 하셔도 됩니다.

옵션 문의 →

사이트맵 가져올 수 없음 오류의 원인 7가지 홈페이지가 네이버에 안 나올 때 순서대로 확인할 8가지 네이버 서치어드바이저 등록부터 수집 요청까지 전 과정 viewport 태그 한 줄이 없으면 모바일이 전부 축소됩니다

참고 자료 — 구글 검색 문서 · 네이버 서치어드바이저