검색 노출이 갑자기 줄었을 때 콘텐츠 품질만 살펴보면 원인을 놓칠 수 있습니다. 웹사이트 루트의 robots.txt에 잘못된 차단 규칙이 들어가면 검색엔진이 공개 글이나 이미지에 접근하지 못할 수 있기 때문입니다. 다만 robots.txt는 서버 접근을 보호하거나 검색 결과에서 페이지를 지우는 보안 장치가 아닙니다. 공개해야 할 URL을 막지 않으면서 관리자·임시 경로만 필요한 범위에서 제한하는 것이 핵심입니다. 다음 6단계로 현재 설정과 실제 응답을 함께 확인해보세요.
루트 주소에서 파일이 열리는지 먼저 확인한다
robots.txt는 일반적으로 도메인 루트의 /robots.txt에서 제공되어야 합니다. 브라우저에서 해당 주소를 직접 열어 HTTP 200으로 응답하는지, 다른 페이지나 로그인 화면으로 이동하지 않는지 확인하세요. www 사용 여부나 서브도메인이 다르면 각각 별도의 호스트로 취급될 수 있으므로 실제 공개 주소를 기준으로 점검합니다. 파일이 없다고 해서 모든 크롤링이 자동으로 막히는 것은 아니지만, 운영 중인 사이트라면 현재 규칙을 눈으로 확인할 수 있게 관리하는 편이 안전합니다.
User-agent와 Disallow 범위를 한 줄씩 읽는다
각 규칙은 어떤 크롤러에게 적용되는지와 어떤 경로를 제한하는지를 함께 읽어야 합니다. User-agent: *는 여러 크롤러에 공통 적용되는 범위이고, Disallow: /는 사이트 전체를 차단할 수 있으므로 공개 사이트에서는 특히 주의합니다. 디렉터리 이름의 슬래시, 대소문자, 와일드카드가 의도와 맞는지도 확인하세요. 관리 화면이나 테스트 경로를 막으려다 짧은 공통 경로를 사용하면 정상 게시글까지 포함될 수 있습니다. 규칙마다 실제 차단 대상 URL 예시를 옆에 적어보면 범위 오류를 찾기 쉽습니다.
크롤링 차단과 색인 제외를 구분한다
robots.txt의 Disallow는 크롤링 요청을 제어하지만 URL이 검색 결과에서 반드시 사라진다는 뜻은 아닙니다. 다른 페이지의 링크를 통해 주소가 발견되면 내용 없이 URL만 알려질 가능성도 있습니다. 검색 결과에서 제외하려는 공개 접근 가능 페이지에는 robots 메타 태그나 HTTP 헤더의 noindex를 검토합니다. 중요한 점은 noindex를 읽으려면 검색엔진이 페이지를 크롤링할 수 있어야 한다는 것입니다. 같은 URL을 robots.txt로 막고 noindex도 넣으면 검색엔진이 제외 지시를 확인하지 못할 수 있습니다.
CSS·스크립트·대표 이미지 경로를 막지 않는다
페이지 본문만 허용하고 화면 구성에 필요한 CSS, 자바스크립트, 대표 이미지 폴더를 차단하면 검색엔진이 실제 페이지를 이해하고 렌더링하는 데 불리할 수 있습니다. 정적 파일 경로를 일괄 차단하기 전에 공개 페이지가 해당 자원을 사용하는지 확인하세요. 특히 업로드 폴더 전체를 막으면 글의 대표 이미지까지 접근할 수 없게 될 수 있습니다. 로그인 후에만 사용하는 파일과 공개 콘텐츠에 필요한 파일을 분리하고, 공개 페이지가 호출하는 핵심 자원은 크롤링 가능 상태로 유지합니다.
사이트맵 주소와 표준 도메인을 맞춘다
robots.txt에는 Sitemap 지시어로 사이트맵의 절대 URL을 안내할 수 있습니다. 이 주소가 실제로 열리고, 현재 사용하는 HTTPS 표준 도메인과 일치하며, 새 게시물 URL을 포함하는지 확인하세요. 예전 도메인·www 주소·개발용 호스트가 남아 있으면 검색엔진과 운영자 모두 점검 기준이 흔들립니다. robots.txt의 사이트맵 주소, 페이지의 canonical, 내부 링크, Search Console에 등록한 속성을 같은 공개 도메인 기준으로 정리하면 변경 이후의 상태를 추적하기 쉬워집니다.
대표 URL을 검사하고 변경 기록을 남긴다
마지막으로 홈페이지, 최신 글, 카테고리, 대표 이미지, 관리자 경로에서 각각 한 개씩 URL을 골라 기대한 대로 허용되거나 차단되는지 검사합니다. 공개 URL은 HTTP 상태, robots 메타 태그, canonical, 내부 링크, 사이트맵 포함 여부까지 함께 봅니다. Search Console의 URL 검사에서 Google이 접근 가능한지 확인하고, 규칙을 수정했다면 날짜·변경 전후 내용·수정 이유·확인 URL을 기록하세요. 문제가 생겼을 때 어떤 설정이 영향을 주었는지 빠르게 되돌아볼 수 있습니다.
게시 전 체크리스트: /robots.txt가 정상 응답하는가, 전체 차단 규칙이 없는가, 공개 글과 이미지 자원이 허용되는가, noindex와 Disallow를 혼동하지 않았는가, 사이트맵이 표준 도메인을 가리키는가, 대표 URL을 실제로 검사하고 변경 기록을 남겼는가. 여섯 항목을 모두 확인한 뒤 규칙을 배포하면 작은 설정 실수로 정상 콘텐츠의 검색 접근을 막는 위험을 줄일 수 있습니다.