도메인만 등록했는데 한 시간 만에 ChatGPT 봇이 찾아온 이유는?
링크를 공개하지 않은 테스트 호스트 10곳의 nginx 로그를 확인했더니 OpenAI 봇은 8곳에 방문했고 Googlebot과 bingbot은 한 번도 오지 않았습니다. 글쓴이는 인증서 투명성 로그(Certificate Transparency)가 호스트 발견 경로일 수 있다고 봅니다. 다만 첫 요청을 보낸 스캐너의 영향 등 다른 가능성도 남아 있습니다.
보안과 개인정보, 운영체제와 클라우드·데이터 인프라를 다룹니다.
링크를 공개하지 않은 테스트 호스트 10곳의 nginx 로그를 확인했더니 OpenAI 봇은 8곳에 방문했고 Googlebot과 bingbot은 한 번도 오지 않았습니다. 글쓴이는 인증서 투명성 로그(Certificate Transparency)가 호스트 발견 경로일 수 있다고 봅니다. 다만 첫 요청을 보낸 스캐너의 영향 등 다른 가능성도 남아 있습니다.
Timescale이 PostgreSQL용 근사 최근접 이웃 검색 확장 pg_vectorsearch를 공개했습니다. PRISM 인덱스는 계층형 클러스터링과 RaBitQ 양자화로 검색과 인덱스 생성을 빠르게 하며, 기존 pgvector 테이블에도 적용할 수 있지만 현재 알파 버전으로 PostgreSQL 18 이상이 필요합니다.
Microsoft가 검색창에서 파일을 찾는 데 그치지 않고 시스템 설정을 바꾸거나 창을 정리하는 새 Windows Search를 공개했습니다. WinUI 3 기반으로 검색 관련성을 개선했으며, 우선 Windows Insiders에 배포합니다.
검색엔진 색인을 원치 않았던 블로그 운영자가 robots.txt와 robots 메타 태그를 차례로 적용해 Google 검색 결과에서 사이트를 제외했습니다. robots.txt로 크롤링을 막으면 Googlebot이 페이지의 noindex 메타 태그를 읽지 못한다는 점이 핵심입니다.
turbopuffer는 문서와 인덱스를 ANN 주소에 묶던 구조를 바꾸고, ANN을 보조 인덱스로 내리는 v3를 개발하고 있습니다. 문서 중복 저장과 쓰기 증폭을 줄이고 집계 같은 비벡터 쿼리의 성능을 높이는 설계입니다.
SereneDB는 전문 검색과 분석을 하나의 오픈소스 데이터베이스 엔진에서 제공하며 PostgreSQL 호환성을 내세웁니다. 공개 벤치마크에서 10억 건의 로그를 8분 안에 인덱싱하고 Elasticsearch보다 디스크를 약 10분의 1만 썼다고 밝혔습니다.
PlanetScale이 Postgres용 전문 검색 확장 기능 TIN을 GA로 공개했습니다. Boolean·구문·퍼지 검색과 BM25 랭킹, COUNT(*)를 지원하며, Stack Exchange 85GB·1억5,000만 문서 벤치마크에서 기존 인덱스보다 최대 541배 높은 처리량을 기록했다고 설명합니다.
Hister는 사용자가 방문한 웹페이지와 로컬 파일의 전체 본문을 인덱싱해 다시 찾을 수 있게 해주는 개인용 검색 엔진입니다. 텔레메트리와 클라우드 의존성 없이 로컬에서 동작하며, 웹 인터페이스와 터미널, MCP를 통한 AI 어시스턴트 연동까지 지원합니다.