Trawling

개발·오픈소스 · 최신기사

개발 도구와 언어, 웹 기술과 오픈소스 프로젝트의 변화를 다룹니다.

RAG가 근거를 드러내게 만드는 법: 1,500만 문서 규모의 주장 검증

발행

문서가 늘수록 RAG는 오류를 드러내기보다 그럴듯한 답을 내놓기 쉽습니다. 이 글은 검색, 인용 강제, 주장별 검증, 답변 유보의 네 단계로 이를 줄이는 설계를 제안하고, 소규모 SQuAD v2 실험에서 답변 위험 감소와 커버리지 손실을 함께 보고합니다.

freehire — 구직자를 위한 오픈소스 채용 검색 엔진

발행

freehire는 회사 채용 페이지와 ATS, 구인 게시판 등 320개 소스에서 공고를 모아 검색하는 오픈소스 서비스입니다. 공고를 표준화하고 중복을 합쳐 공개 API로 제공하며, 이력서 작성과 지원 추적 기능도 같은 저장소에 포함합니다.

도메인만 등록했는데 한 시간 만에 ChatGPT 봇이 찾아온 이유는?

발행

링크를 공개하지 않은 테스트 호스트 10곳의 nginx 로그를 확인했더니 OpenAI 봇은 8곳에 방문했고 Googlebot과 bingbot은 한 번도 오지 않았습니다. 글쓴이는 인증서 투명성 로그(Certificate Transparency)가 호스트 발견 경로일 수 있다고 봅니다. 다만 첫 요청을 보낸 스캐너의 영향 등 다른 가능성도 남아 있습니다.

DeepSeek Search와 Fetch API, 성공 요청 1,000건당 0.75달러

발행

DeepSeek가 에이전트와 RAG 애플리케이션용 Search API와 Fetch API를 공개했습니다. 두 API 모두 성공 요청 1,000건당 0.75달러이며, 검색 결과 수와 무관하게 요청 단위로 과금합니다. 계정별 요청 한도는 각각 초당 5회입니다.

데자뷔를 다시 겪는 데도 비용이 듭니다

발행

CaseJog는 수리 기술자가 과거 작업 기록에서 현재 증상과 비슷한 사례를 찾도록 돕는 로컬 검색 도구입니다. 작성자는 기기 필터와 오류 코드 일치 점수를 결합한 검색이 순수 코사인 유사도보다 28개 증상 평가에서 높은 precision@k를 보였다고 보고합니다.

XERJ: 파일을 자동 색인해 AI 에이전트가 검색하는 로컬 검색 엔진

발행

XERJ는 코드와 문서, 로그 등 여러 형식의 파일을 자동 색인하고 Elasticsearch API로 검색하는 로컬 엔진입니다. 제작자 측 측정에서는 grep 기반 코딩보다 출력 토큰을 2.7배 줄이면서 같은 해결률을 기록했지만, 효과는 모델이 이미 아는 공개 코드보다 비공개·희소 코드에서 큽니다.

pg_vectorsearch: pgvector의 IVFFlat·HNSW보다 빠른 인덱스

발행

Timescale이 PostgreSQL용 근사 최근접 이웃 검색 확장 pg_vectorsearch를 공개했습니다. PRISM 인덱스는 계층형 클러스터링과 RaBitQ 양자화로 검색과 인덱스 생성을 빠르게 하며, 기존 pgvector 테이블에도 적용할 수 있지만 현재 알파 버전으로 PostgreSQL 18 이상이 필요합니다.

Google 검색 색인에서 사이트를 제외했습니다

발행

검색엔진 색인을 원치 않았던 블로그 운영자가 robots.txt와 robots 메타 태그를 차례로 적용해 Google 검색 결과에서 사이트를 제외했습니다. robots.txt로 크롤링을 막으면 Googlebot이 페이지의 noindex 메타 태그를 읽지 못한다는 점이 핵심입니다.

Steam 게임 추천 서비스를 출시한 지 2주, 솔직한 지표

발행

Playfeed 창업자가 출시 후 2주간의 유입·가입·검색 성과와 추천 모델 개선 과정을 공개합니다. 봇 트래픽을 걸러내자 방문자 수는 기존의 5분의 1로 줄었고, 게임 태그 대신 실제 플레이 감각을 반영하도록 검색을 다듬고 있습니다.

실습으로 배우는 프로덕션 RAG와 Agentic RAG

발행

arXiv 논문을 수집하고 검색해 질문에 답하는 연구 보조 시스템을 7주 과정으로 구현하는 무료 프로젝트입니다. BM25 검색부터 하이브리드 검색, RAG 운영 모니터링, LangGraph 기반 Agentic RAG까지 단계적으로 다룹니다.

구글 검색은 언제 이렇게 이상해졌을까요?

발행

글쓴이는 옛 농구 밈을 찾으려고 구글에 검색어를 입력했지만, AI Overview가 검색어를 연애 문제로 오해하고 위로를 건넸다고 말합니다. 원하는 게시물은 일반 검색 결과에 있었지만, 검색창이 정보를 찾는 도구에서 사용자에게 말을 거는 챗봇처럼 바뀌는 상황을 문제 삼습니다.