모두가 llms.txt를 추가하지만, 실제로 읽는 것은 거의 없다

본문

llms.txt는 어느새 별다른 검증 없이 사이트에 붙이는 기본 항목이 되었습니다. 파일을 추가해 두면 ChatGPT 같은 AI 어시스턴트가 자사 콘텐츠를 더 자주 인용해 줄 것이라는 기대가 깔려 있지만, 저자가 찾아본 실증 데이터는 그 기대와 거리가 멉니다.

Ahrefs와 SE Ranking의 실측 결과

Ahrefs가 137,000개 사이트를 조사한 결과, 공개된 llms.txt 파일의 97%가 2026년 5월 한 달 동안 단 한 번도 fetch되지 않았습니다. 요청이 발생한 나머지 3%조차 대부분 검색용 어시스턴트가 아니라 GPTBot이나 Claude-Code 같은 AI 코딩 도구에서 온 것이었습니다. SE Ranking은 300,000개 도메인이라는 더 큰 표본으로 분석했는데, llms.txt 보유 여부와 실제 인용 사이에서 어떤 상관관계도 발견하지 못했습니다. 오히려 예측 모델에서 이 변수를 제거하자 예측 정확도가 높아졌습니다.

검색 엔진의 입장 — meta keywords의 재림

Google은 순위 결정에 llms.txt를 사용하지 않는다고 명시적으로 밝혔습니다. John Mueller는 이 파일을 과거의 keywords meta 태그에 비유했는데, 사이트 운영자가 임의로 조작할 수 있는 신호는 검색엔진 입장에서 가치가 없기 때문에 무시된다는 것이 핵심입니다. 저자 스스로 통제하는 파일은 검색 발견을 위한 신뢰 신호로 기능할 수 없다는 구조적 한계입니다.

그래도 완전한 낭비는 아닌 이유

저자는 llms.txt가 '잘못된 질문'으로 평가되고 있다고 지적합니다. 검색 발견 관점에서는 아무 효과가 없지만, 코딩 에이전트가 문서를 읽는 맥락에서는 3%의 사용량이 실재합니다. 큐레이션된 마크다운 인덱스가 문서 사이트의 복잡한 내비게이션보다 파싱하기 쉽다는 것은 사실이므로, 문서를 운영하는 사이트라면 추가할 근거가 있습니다. 반면 ChatGPT에 더 자주 언급되길 기대하고 추가했다면, 현재로서는 그 효과를 뒷받침하는 근거가 없습니다.

저자는 마지막으로 실제 측정 사례를 묻습니다. '추가했더니 트래픽이 올랐다'는 식의 증언은 대개 새 콘텐츠나 언론 보도 같은 다른 요인의 결과이므로, 다른 조건이 바뀌지 않은 before/after 비교가 있는지 독자들에게 질문을 던지고 있습니다.

Indie Hackers 반응

• @ourabi — 전혀 놀랍지 않습니다! llms.txt를 새로운 meta 태그처럼 취급하는 사람들은 핵심을 완전히 놓친 것입니다. 이것은 검색 어시스턴트용 마법의 SEO 치트키가 아니라 개발 도구를 위한 깔끔한 마크다운 인덱스로만 유용합니다.
• @GregoryScottHenson — meta keywords 태그의 순환이 다시 돌고 있는 것이고, 앞으로도 계속 반복될 것입니다. 얻어야 하는 인용보다 직접 통제할 수 있는 파일이 항상 추가하기 더 싸게 먹히기 때문입니다. 다만 그 3%는 유용한 신호입니다. 코딩 에이전트가 문서를 가져가는 것은 발견이 아니라 온보딩과 지원 측면의 승리입니다. 저희 쪽에서 어시스턴트 인용을 실제로 움직인 유일한 것은 자사 도메인에 올린 어떤 것도 아니라, 모델이 이미 신뢰하는 소스 안에 등장하는 것이었습니다.

원문: Indie Hackers / 번역·요약: Trawling