검색에 나와야 할 URL부터 정한다
noindex 점검은 모든 페이지를 검색에 넣는 작업이 아닙니다. 먼저 고객이 검색을 통해 만나야 할 URL과 검색에서 제외해도 되는 URL을 나누세요. 주요 상품·서비스와 이용 안내는 노출 후보가 될 수 있지만, 관리자 화면이나 중복된 테스트 주소는 제외 대상일 수 있습니다.
점검표에는 URL, 페이지 목적, 검색 노출 필요 여부, 마지막 수정일을 적습니다. ‘검색에 안 나온다’는 느낌만으로 설정을 바꾸지 말고 실제로 고객에게 보여야 하는 대표 페이지인지 먼저 판단하세요. 다른 페이지로 통합된 주소라면 표준 URL과 리디렉션 상태도 살펴야 합니다.
HTML의 robots 메타 태그를 확인한다
Google은 HTML 페이지의 robots 메타 태그에서 noindex 규칙을 읽을 수 있습니다. 브라우저에서 페이지 소스 보기를 연 뒤 ‘noindex’를 검색하고, head 영역에 <meta name="robots" content="noindex">와 같은 설정이 있는지 확인하세요. googlebot을 대상으로 한 별도 메타 태그도 함께 살펴봅니다.
직접 코드를 수정하지 않는 사이트는 CMS나 SEO 플러그인의 ‘검색엔진에 표시하지 않기’, ‘색인 제외’ 같은 옵션이 메타 태그를 만들 수 있습니다. 페이지 편집 화면, 전체 사이트 공개 설정, 템플릿 설정을 순서대로 확인하세요. 테스트 중 켰던 사이트 전체 차단 옵션이 운영 전환 뒤에도 남아 있지 않은지 보는 것이 중요합니다.
HTTP 응답 헤더도 함께 검사한다
페이지 소스에 noindex가 없어도 서버 응답의 X-Robots-Tag 헤더에 noindex가 들어갈 수 있습니다. 브라우저 개발자 도구의 네트워크 탭에서 문서 요청을 선택하거나 헤더 확인 도구를 사용해 응답 헤더를 확인하세요. PDF나 이미지 같은 비HTML 파일은 메타 태그 대신 이 응답 헤더로 색인 규칙을 전달할 수 있습니다.
여러 경로에서 같은 헤더가 보인다면 서버, CDN, 호스팅 또는 배포 설정에서 공통으로 추가했을 가능성을 점검합니다. 개발 환경용 규칙이 운영 환경에 적용됐는지, 특정 폴더나 파일 형식에만 규칙이 붙는지도 확인하세요. 메타 태그와 응답 헤더가 서로 다를 수 있으므로 두 위치를 모두 기록합니다.
robots.txt와 noindex 역할을 구분한다
robots.txt의 차단과 noindex는 같은 기능이 아닙니다. Google 공식 안내에 따르면 robots.txt 파일에 noindex 규칙을 쓰는 방식은 지원되지 않습니다. 또한 URL을 robots.txt로 막으면 Googlebot이 해당 페이지의 메타 태그나 응답 헤더를 읽지 못할 수 있어, 다른 페이지의 링크를 통해 주소만 검색결과에 남는 상황도 생길 수 있습니다.
검색 제외가 목적이라면 검색로봇이 URL에 접근해 noindex를 확인할 수 있는 구조인지 봐야 합니다. 반대로 검색에 보여야 할 페이지라면 robots.txt 허용 여부와 noindex 부재를 함께 확인하세요. ‘크롤링 가능’, ‘색인 허용’, ‘대표 URL 지정’은 서로 다른 점검 항목이므로 하나가 정상이라고 전체가 정상이라고 판단하지 않습니다.
Search Console에서 Google이 본 내용을 확인한다
Google Search Console의 URL 검사에서 대상 주소의 색인 허용 여부와 마지막 크롤링 상태를 봅니다. 실시간 URL 테스트를 실행하면 현재 제공되는 페이지가 Googlebot에 어떻게 보이는지 점검하는 데 도움이 됩니다. 사용자 선언 표준 URL과 Google 선택 표준 URL도 함께 확인하세요.
페이지 색인 보고서에서 ‘noindex 태그에 의해 제외됨’과 관련된 항목을 열어 영향을 받는 URL을 살펴보세요. 의도한 제외 페이지라면 문제로 볼 필요가 없지만, 주요 서비스나 콘텐츠 URL이 포함됐다면 수정 대상입니다. 보고서 수치만 보지 말고 대표 URL 몇 개를 직접 검사해 같은 원인인지 확인합니다.
수정 후 6항목을 다시 점검한다
검색에 나와야 할 페이지에서 의도하지 않은 noindex를 제거했다면 실제 운영 주소를 다시 열어 확인합니다. ① HTTP 200 응답인가 ② HTML 메타 태그에 noindex가 없는가 ③ X-Robots-Tag에 noindex가 없는가 ④ robots.txt가 크롤링을 막지 않는가 ⑤ 대표 URL이 올바른가 ⑥ 사이트맵과 내부 링크에 정상 주소가 포함됐는가를 차례로 점검하세요.
모든 항목이 정상이라면 URL 검사에서 색인 생성을 요청하고 이후 상태를 다시 확인합니다. 요청 자체가 즉시 노출이나 순위를 보장하지는 않습니다. 같은 문제가 반복되면 배포 템플릿, CMS 기본값, SEO 플러그인 설정을 함께 수정해 새 페이지에 noindex가 자동으로 붙지 않도록 관리하세요. 핵심은 검색 제외 설정을 무조건 지우는 것이 아니라 페이지 목적에 맞게 의도적으로 유지하거나 제거하는 것입니다.