구글 크롤링 통계 보고서는 Googlebot의 요청과 서버 응답 기록을 보여준다. 색인 수를 바로 늘리는 버튼이 아니라, 발견된 URL을 안정적으로 가져갈 수 있는 환경인지 진단하는 화면이다. 요청 횟수 하나만 보지 말고 호스트 상태, 응답 시간, 응답 코드와 파일 형식을 같은 기간으로 묶어 읽어야 한다.
구글 크롤링 통계 보고서가 답하는 범위를 먼저 구분한다
Search Console 설정에서 총 요청, 다운로드 크기, 평균 응답 시간, 호스트 상태와 응답 유형을 확인할 수 있다. 숫자는 Google이 요청한 실제 URL 기준이며 리디렉션 체인도 각각 계산된다. A가 B를 거쳐 C로 이동하면 301·301·200 요청이 따로 잡힌다. 요청이 많다고 색인이나 검색 노출이 늘었다고 해석해서는 안 된다.
Google은 페이지가 1,000개 미만인 사이트라면 이 고급 보고서의 세부 수치에 매달릴 필요가 없다고 안내한다. 소규모 사이트는 일별 등락보다 배포·도메인 변경·서버 장애 전후를 비교하는 데 활용한다. 개별 URL의 색인 제외 이유는 페이지 색인 보고서와 URL 검사에서 따로 확인한다.
호스트 상태와 평균 응답 시간을 요청량보다 먼저 본다
첫 기준은 요청량보다 연결 안정성이다. 호스트 상태에 문제가 표시되면 robots.txt, DNS, 서버 연결을 나눠 본다. robots.txt가 429 또는 5XX를 계속 반환하면 Google이 크롤링을 늦추거나 중단할 수 있다. 현재 규칙과 공개 자원 차단은 소상공인 웹사이트 robots.txt 점검법으로 확인한다.
평균 응답 시간에는 HTML과 이미지·CSS·JavaScript 응답이 모두 포함된다. 하루 최고값보다 최근 7일 중앙값과 오류 날짜를 겹쳐 본다. 200 비율과 호스트 상태가 정상이라면 일시적 캐시 갱신일 수 있지만, 시간과 5XX가 함께 늘면 서버·데이터베이스·배포 로그를 먼저 점검한다. 사용자 체감 속도는 소상공인 웹사이트 속도 점검법으로 분리해 본다.
응답 코드는 정상·확인·즉시 조치로 나눠 판단한다
200과 의도한 301·308은 정상 범주다. 302·307은 임시 이동이 맞는지 확인하고, 영구 이전이라면 301 또는 308로 정리한다. 404는 항상 결함이 아니다. 대체 페이지 없이 삭제한 URL이라면 올바른 응답일 수 있지만 메뉴·본문·사이트맵이 계속 그 주소를 가리키면 내부 경로를 수정해야 한다. 판단 기준은 소상공인 웹사이트 404 오류 점검법과 연결해 실제 링크 출처까지 확인한다.
401·403은 공개 페이지가 인증에 막혔는지, 429는 요청 제한이 정상 크롤링까지 막는지 살핀다. 5XX, DNS 오류, 시간 초과와 리디렉션 순환은 즉시 조치한다. 응답 항목을 눌러 예시 URL, 발생 시간, 파일 형식을 기록하면 오류가 이미지와 HTML 중 어디에 몰렸는지 구분할 수 있다.
하위 도메인 범위와 변화율을 맞춰 비교한다
도메인 속성에는 루트와 여러 하위 도메인의 요청이 함께 나타날 수 있다. seedstone.kr 전체 수치가 변해도 blog.seedstone.kr의 변화라고 바로 단정할 수 없다. 호스트 목록에서 하위 도메인을 선택해 같은 범위끼리 비교한다. URL 접두어 속성도 HTTP와 HTTPS가 함께 계산될 수 있어 예시 URL의 프로토콜을 확인한다.
계산은 복잡할 필요가 없다. 변경 전 7일 평균 요청이 120회, 평균 응답 시간이 320ms였고 변경 후 각각 180회와 640ms라면 요청은 50% 증가했지만 응답 시간은 100% 늘었다. 이때 200 비율이 유지되면 캐시나 새 콘텐츠 크롤링을 살피고, 5XX 비율도 함께 올랐다면 서버 용량과 느린 쿼리를 먼저 본다. 요청 수 자체보다 ‘언제 무엇을 바꿨고 어떤 응답이 함께 변했는가’를 기록하는 것이 핵심이다.
수정 순서와 재확인 체크리스트를 남긴다
수정 순서는 ① 최근 DNS·배포 장애 ② robots.txt의 429·5XX ③ HTML의 5XX·시간 초과 ④ 잘못된 인증과 리디렉션 ⑤ 내부 링크·사이트맵의 불필요한 404 순으로 잡는다. 정상 404를 모두 홈페이지로 보내거나, 크롤링을 줄이겠다며 CSS·이미지 폴더를 통째로 차단하는 것은 실패 조건이다. 새 URL 발견이 필요한 경우에는 소상공인 XML 사이트맵 점검법에 따라 정상 대표 URL만 포함됐는지 확인한다.
기록에는 확인 날짜, 속성 범위, 호스트, 오류 코드, 예시 URL, 배포 시각과 담당자를 남긴다. 수정 후 같은 요일을 포함한 7일 구간으로 다시 비교한다. ‘호스트 상태 정상, 응답 시간 회복, 5XX·시간 초과 감소, 301 체인 한 단계, 내부 링크·사이트맵이 최종 200 URL을 가리킴’ 다섯 항목을 재확인한다.