llms.txt에는 실제로 무엇을 넣어야 하는가

본문

llms.txt는 사이트를 크롤러가 아닌 언어 모델에게 설명하는 평문(plain text) 요약 파일입니다. Jeremy Howard가 2024년 9월에 제안한 컨벤션일 뿐 공식 표준이 아니며, ChatGPT·Claude·Gemini·Perplexity 등 어느 주요 AI 기업도 이 파일을 실제로 읽는다고 확인해준 적이 없습니다. 수천 개 사이트가 채택했지만 대규모 모델을 운영하는 쪽은 침묵하고 있고, 저자는 이와 다르게 말하는 글은 '무언가를 팔고 있는 것'이라고 지적합니다.

그래도 쓰라는 것이 이 글의 요지입니다. 이유는 파일 자체가 아니라, 작성 과정이 강제하는 결정 때문입니다. 1,000단어 이내로 우리가 무엇을 하는지, 누구를 위한 것인지, 누구를 위한 것이 아닌지, 얼마를 받는지, 무엇을 주장하지 않는지를 마케팅 포장 없이 적어야 하는데, 대부분의 비즈니스는 이것을 어디에도 써본 적이 없다는 것입니다. '파일은 싼 부분이고, 결정이 자산이다'라는 문장이 글의 핵심을 요약합니다.

사이트를 기계에게 설명하는 네 개의 파일

robots.txt는 '이 경로를 가져가도 되는가', sitemap.xml은 '무엇이 있고 언제 바뀌었는가', JSON-LD 형태의 Schema는 '이 페이지가 데이터로 표현하면 무엇인가'를 답하고, 셋 모두 오랜 관례로 존중됩니다. 반면 llms.txt는 '이 비즈니스가 무엇인가를 산문(prose)으로' 답하는 파일로, 실제로 읽히는지는 미확인입니다. 네 가지 중 산문인 것은 이것뿐이며, 그것이 요점입니다. Schema는 고정된 형태의 사실에는 훌륭하지만 판단, 범위, 거절 조건, 가격표에서 똑같아 보이는 두 서비스의 차이 같은 비정형 정보는 표현하지 못합니다.

넣어야 할 여섯 가지

컨벤션은 /llms.txt에 Markdown으로, 비즈니스 이름의 H1과 요약 blockquote로 시작하라고 요구하며 이후 형식은 느슨합니다. 첫째, 재서술(paraphrase)되어도 살아남는 한 문장 — 모델이 두 줄로 압축해 낯선 사람에게 건넨다고 가정하고 그 압축을 직접 쓰라는 것입니다. 둘째, 서비스 목록이 아니라 '하는 일의 경계' — '랭킹이나 패키지를 팔지 않는다' 같은 부정 명제가 모델에게 더 많은 정보를 줍니다. 셋째, 구매자가 누구인지 그들의 언어로. 넷째, 틀리게 쓰이는 이름들 — 악센트 있는 창업자 이름은 악센트 없는 철자도 함께 적어 모델이 하나의 entity로 해석하게 해야 합니다. 다섯째, 인용 조건 — 어시스턴트가 어느 길이까지, 어떤 출처 표기로 인용해도 되는지 명시합니다. 여섯째, 폼(form)이 아닌 연락 수단 — 폼은 JavaScript로 그려지므로 기계가 읽을 수 없는 경우가 많습니다.

빼야 할 것들과 측정의 한계

실패할 수 없는 형용사(leading, innovative, trusted)는 경쟁사 모두에게 참이므로 구분력이 없고, 측정 방법을 밝힐 수 없는 숫자, 사이트 본문과 모순되는 진술, 그리고 sitemap.xml이 담당할 URL 목록 전부를 빼라고 합니다. 측정에 대해서는 'llms.txt 성과 대시보드'를 파는 사람은 숫자를 지어낸 것이라고 단호히 말하며, 대신 4~5개 어시스턴트에게 구매자가 할 법한 질문을 새 세션에서 던지고 답변을 날짜와 함께 기록해 한 달 뒤 반복하는 '샘플링'을 제안합니다. 순서도 중요합니다 — JavaScript 없이 읽히는 페이지, 페이지와 일치하는 구조화 데이터, 자기모순 없는 사이트를 먼저 만들고 파일은 마지막에 쓰라는 것입니다. 어시스턴트가 읽는다면 준비된 것이고, 읽지 않아도 회사에서 가장 명확한 단락이 남는다는 것이 결론입니다.

원문: dev.to / 번역·요약: Trawling