구글 AI 검색 콘텐츠 제어를 위해 robots.txt에 Google-Extended만 차단하면 AI 개요와 AI 모드에서도 사라진다고 생각하기 쉽다. 그러나 Google 검색의 AI 기능과 Gemini 앱·Vertex AI의 학습 또는 그라운딩은 제어 대상이 다르다. 페이지를 검색에 남길지, 검색결과 요약만 줄일지, 특정 문장만 제외할지부터 정한 뒤 설정해야 한다. 목적을 구분하지 않으면 검색 유입까지 잃거나, 반대로 숨기려던 문장이 계속 노출될 수 있다.
AI 검색 노출과 Gemini 활용을 따로 결정한다
Google은 AI 개요·AI 모드에 별도 전용 마크업이 필요하지 않으며, 페이지가 색인되고 검색결과 스니펫에 표시될 수 있어야 지원 링크 후보가 된다고 안내한다. Google 검색의 AI 기능에서 내용을 제한하려면 Googlebot이 읽는 noindex, nosnippet, max-snippet, data-nosnippet을 검토한다. 반면 Google-Extended는 robots.txt에서 Gemini 앱과 Vertex AI API용 미래 모델 학습 및 일부 그라운딩 활용을 관리하는 제품 토큰이다. 이를 차단해도 Google 검색 포함 여부나 순위 신호에는 영향을 주지 않는다고 Google은 명시한다. 먼저 ‘검색 노출’, ‘검색 요약’, ‘다른 Gemini 시스템 활용’ 중 무엇을 바꿀지 한 문장으로 적는다.
목적별 제어 수단을 네 칸으로 비교한다
페이지 전체를 검색결과에서 제외하려면 <meta name="robots" content="noindex">를 사용한다. 검색 노출은 유지하되 텍스트 스니펫과 AI 검색의 직접 입력을 막으려면 nosnippet을 검토한다. 요약 길이만 제한하려면 max-snippet:숫자, 가격·회원 전용 문장처럼 일부 영역만 제외하려면 span, div, section에 data-nosnippet을 둔다. Gemini 앱·Vertex AI 쪽 활용만 제한하려면 robots.txt에 User-agent: Google-Extended와 대상 경로의 Disallow를 설정한다. noindex는 가장 넓은 결과를 만들므로 noindex 점검법으로 검색 제외가 정말 필요한지 먼저 확인한다.
페이지 단위와 문장 단위 적용 순서를 정한다
작은 쇼핑몰을 예로 들면 상품 소개는 검색과 AI 검색에 공개하고, 로그인 후 가격이나 계약 조건만 요약에서 빼고 싶을 수 있다. 이때 페이지 전체에 nosnippet을 넣기보다 민감 영역을 유효한 HTML 요소로 감싼 뒤 data-nosnippet을 적용하는 편이 목적에 가깝다. 반대로 내부 견적 페이지 자체가 검색될 이유가 없다면 noindex가 맞다. 적용 순서는 ① URL과 정보 유형 목록 작성 ② 공개·부분 제한·검색 제외로 분류 ③ 가장 좁은 제어 수단 선택 ④ 테스트 페이지 한 곳에 적용 ⑤ 배포 뒤 원본 HTML과 응답 헤더 확인이다. AI 검색 유입을 늘리는 구조는 AI 검색 콘텐츠 구성법과 함께 검토한다.
잘못된 조합이 만드는 실패 조건
robots.txt로 Googlebot의 접근을 막은 뒤 페이지 안에 noindex나 nosnippet을 넣으면 크롤러가 해당 지시를 읽지 못할 수 있다. 검색에서 빼려는 페이지를 robots.txt 차단만으로 처리하지 않는 이유다. data-nosnippet="false"도 값과 관계없이 속성이 존재하면 제외로 해석되며, 닫히지 않은 요소는 뒤의 콘텐츠까지 영향을 줄 수 있다. 자바스크립트로 속성을 늦게 추가·삭제하면 렌더링 시점에 따라 불확실성이 생길 수 있다. 여러 robots 지시가 충돌하면 더 제한적인 규칙이 적용될 수 있으므로 템플릿과 플러그인이 중복 태그를 만들지 확인한다. robots.txt 자체 점검은 robots.txt 오류 진단표를 참고한다.
배포 후 확인 체크리스트
배포 후에는 ① 제어 목적과 대상 URL이 일치하는가 ② 페이지 소스에 robots 메타 태그가 한 번만 있는가 ③ data-nosnippet이 유효한 span·div·section에 있는가 ④ PDF·이미지처럼 HTML이 아닌 파일은 필요한 경우 X-Robots-Tag로 처리했는가 ⑤ Googlebot을 robots.txt로 막아 메타 지시를 못 읽게 하지 않았는가 ⑥ Google-Extended 차단을 검색 순위 설정으로 오해하지 않았는가 ⑦ 변경 전후 화면과 원본 HTML을 기록했는가를 확인한다. 변경이 검색에 반영되는 시점은 재크롤링 빈도에 따라 달라질 수 있으므로 즉시 적용을 전제로 판단하지 않는다. 민감정보는 검색 제어에 의존하지 말고 인증과 접근권한으로 보호한다.