Trawling

보안·인프라 · 최신기사

보안과 개인정보, 운영체제와 클라우드·데이터 인프라를 다룹니다.

도메인만 등록했는데 한 시간 만에 ChatGPT 봇이 찾아온 이유는?

발행

링크를 공개하지 않은 테스트 호스트 10곳의 nginx 로그를 확인했더니 OpenAI 봇은 8곳에 방문했고 Googlebot과 bingbot은 한 번도 오지 않았습니다. 글쓴이는 인증서 투명성 로그(Certificate Transparency)가 호스트 발견 경로일 수 있다고 봅니다. 다만 첫 요청을 보낸 스캐너의 영향 등 다른 가능성도 남아 있습니다.

pg_vectorsearch: pgvector의 IVFFlat·HNSW보다 빠른 인덱스

발행

Timescale이 PostgreSQL용 근사 최근접 이웃 검색 확장 pg_vectorsearch를 공개했습니다. PRISM 인덱스는 계층형 클러스터링과 RaBitQ 양자화로 검색과 인덱스 생성을 빠르게 하며, 기존 pgvector 테이블에도 적용할 수 있지만 현재 알파 버전으로 PostgreSQL 18 이상이 필요합니다.

Google 검색 색인에서 사이트를 제외했습니다

발행

검색엔진 색인을 원치 않았던 블로그 운영자가 robots.txt와 robots 메타 태그를 차례로 적용해 Google 검색 결과에서 사이트를 제외했습니다. robots.txt로 크롤링을 막으면 Googlebot이 페이지의 noindex 메타 태그를 읽지 못한다는 점이 핵심입니다.

SereneDB — 초고속 검색·분석 데이터베이스, AI 에이전트 대응

발행

SereneDB는 전문 검색과 분석을 하나의 오픈소스 데이터베이스 엔진에서 제공하며 PostgreSQL 호환성을 내세웁니다. 공개 벤치마크에서 10억 건의 로그를 8분 안에 인덱싱하고 Elasticsearch보다 디스크를 약 10분의 1만 썼다고 밝혔습니다.

Tin: Postgres를 위한 빠른 전문 검색 엔진

발행

PlanetScale이 Postgres용 전문 검색 확장 기능 TIN을 GA로 공개했습니다. Boolean·구문·퍼지 검색과 BM25 랭킹, COUNT(*)를 지원하며, Stack Exchange 85GB·1억5,000만 문서 벤치마크에서 기존 인덱스보다 최대 541배 높은 처리량을 기록했다고 설명합니다.