Google 검색 색인에서 사이트를 제외했습니다

AI 요약

작성자는 올해 초 AI와 무차별적인 웹 스크래핑을 이유로 자신의 사이트가 검색엔진에 노출되지 않기를 바랐습니다. 먼저 robots.txt에 전체 크롤링을 막는 규칙을 넣었지만 몇 주가 지나도 색인이 사라지지 않았습니다. 이어 페이지에 robots 메타 태그를 추가했지만, Googlebot이 페이지를 방문해야 태그를 읽을 수 있다는 사실을 뒤늦게 알았습니다. 사이트에서 Googlebot을 차단하면 Google은 페이지의 noindex 지시를 확인하지 못합니다.

작성자는 Google이 페이지를 다시 확인할 수 있도록 차단 규칙을 조정했고, 다른 주요 봇도 색인에서 제외될 때마다 robots.txt에서 허용했습니다. 마지막 변경 뒤 최소 3개월이 지나 확인한 결과, 사이트는 Google 검색 색인에서 사라졌습니다.

Lobsters 반응

• @ryan-duve — 제목만 보고는 기쁜 소식일 줄 몰랐습니다. 작성자가 원하는 결과를 얻어 다행입니다. Google 색인에서 빠진 뒤 LLM 스크래퍼, 다른 검색엔진, SSH 로그인 시도 같은 서버 활동도 줄었는지 궁금합니다.
  • @brn — 저도 같은 생각입니다. 스크래핑이 줄어들지는 의심스럽습니다. 어떤 검색엔진에도 색인된 적 없는 URL과 도메인도 스크래퍼와 봇이 계속 두드립니다. 서버에 PHP가 없는데도 .env와 .php 파일을 찾습니다. 봇이 새 도메인을 한 시간 안에 찾아오는 걸 보면, 당시 도메인을 알고 있던 유일한 서비스인 Let's Encrypt의 공개 인증서 목록이 봇의 주요 정보원인 듯합니다.
  • @marginalia — 와일드카드 인증서를 쓰고, 찾기 원치 않는 콘텐츠를 하위 도메인에 두는 방법이 있습니다.
  • @brn — 도메인 대신 하위 도메인을 더 쓰는 좋은 계기가 될 수 있겠네요. 감사합니다.
  • @hoistbypetard — DNS-01 챌린지를 쓰고, 찾기 원치 않는 콘텐츠를 라우팅할 수 없는 IP 주소에 둬도 됩니다.
  • @hoistbypetard — 제 관찰과도 일치합니다. Let's Encrypt만 그런 건 아닙니다. 악의적인 목적을 가진 사람들은 Certificate Transparency 로그를 긁어 인증서 발급 직후 사이트를 빠르게 훑습니다.
• @ploum — Kagi에서도 찾을 수 없네요.
  • @brn — 모든 봇을 차단했으니 예상할 만합니다. robots.txt의 전체 차단 규칙을 읽게 하려면 Googlebot을 허용해야 한다는 점이 놀랍습니다.
• @hwj — 흥미롭게도 제 별 볼 일 없는 사이트 방문자의 6%는 Kagi에서 오고, Google에서 오는 비율은 1% 미만입니다.
• @AndrewStephens — 몇 달 전 실수로 Googlebot을 차단했다가 다시 허용할지 오래 고민했습니다. Google에서 오는 방문은 매우 적습니다. 사이트를 크롤링하기 쉽게 만들려고 애쓰던 시절은 이미 오래전에 지났습니다.
• @patryk — 전 직장에서는 Huawei 봇이 서버의 모든 것을 긁어 가려는 문제를 겪었습니다. Huawei가 안내한 권장 사항까지 전부 따랐지만 결국 사용자 에이전트를 강제로 차단해야 했습니다. robots.txt 캐시를 6개월마다 갱신한다고 하더군요. 그러니 3개월은 정말 빠른 편입니다.
• @yharnam — 제 작은 웹 프로젝트에서는 Internet Archive와 Marginalia Search 봇만 허용합니다. Kagi도 허용하려고 했는데 아직 손대지 못했습니다.
• @laurentbroy — 최종 목적을 완전히 이해했는지 모르겠습니다. Google에서 찾기 어렵게 만들면, 원치 않는 스크래퍼도 사이트를 찾기 어려워진다는 뜻인가요?
• @motet-a — Google이 트래픽이 적은 사이트를 이렇게 늦게 갱신하는 건 정말 아쉽습니다. 훨씬 빨라야 합니다.

원문: Kenny Qin / 번역·요약: Trawling