닮은꼴 문자를 섞어도 계약서는 제대로 읽었지만, 토큰은 최대 5.7배 늘었습니다

AI 요약

라틴 문자와 생김새가 비슷한 키릴 문자 같은 유니코드 문자를 계약서에 섞으면, 사람 눈에는 정상적인 문장처럼 보여도 모델 입력 비용이 크게 늘어날 수 있습니다. 작성자는 이를 ‘Denial of Spend’라고 부르고, 최신 GPT와 Claude 모델 7종을 새 계약서로 다시 시험했습니다. 앞선 실험에서는 GPT-5.2와 Claude Sonnet 4.6을 대상으로 했습니다.

시험 구성과 결과

시험에 쓴 문서는 8개 조항, 89줄 분량의 컨설팅 계약서입니다. 작성자는 변형본 두 개를 만들었습니다. ‘Flipped’ 버전에서는 not, without, waives처럼 잘못 읽으면 조항의 뜻이 뒤집히는 단어 18개를 confusable 문자로 바꿨습니다. 예를 들어 not을 поŧ로 표기했습니다. ‘Flooded’ 버전에서는 소문자 60%를 닮은꼴 문자로 대체했습니다.

각 모델은 두 변형본을 검토하고 부정 표현을 따져야 답할 수 있는 질문 12개에 응답했습니다. 예를 들어 컨설턴트의 총 책임 한도가 지급한 수수료로 제한되는지 물었습니다. 정답은 ‘아니요’입니다. 이후 문서에서 이상한 점을 발견했는지도 물었습니다. 전체 실험은 91회 호출로 이뤄졌습니다.

모델 7종은 두 변형본에서 질문 12개에 모두 정확히 답했습니다. 계약서 5.1조의 “shall not be limited”도 무제한 책임으로 올바르게 해석했습니다. 앞선 시험에서 어려움을 보였던 Haiku 4.5도 이번에는 모두 맞혔습니다.

토큰과 비용

깨끗한 계약서와 Flooded 버전의 토큰 수를 비교하면 GPT-6 Astra·Sol·Luna는 763개에서 4,336개로 늘어 5.7배가 됐습니다. Claude Fable 5.1·Opus 5.5·Sonnet 5는 1,260개에서 5,059개로 4배, Claude Haiku 4.5는 861개에서 4,949개로 5.7배였습니다. Claude 신형 모델은 평문을 읽을 때도 토큰을 더 쓰기 때문에 배율이 낮게 나왔지만, Flooded 문서의 토큰 수는 다른 모델과 비슷했습니다.

토큰 증가율과 실제 비용 증가율은 다릅니다. 질문에 답하는 출력 토큰은 변형 문서에서도 길어지지 않고, 출력 토큰 단가는 입력보다 높기 때문입니다. 작성자가 공개 가격표를 기준으로 계산한 12개 질문의 비용 배율은 GPT-6 Astra 3.04배, Sol과 Luna 각각 3.46배였습니다. Claude Fable 5.1은 3.92배, Opus 5.5와 Sonnet 5는 각각 2.27배와 2.26배, Haiku 4.5는 1.62배였습니다. 문서 검토만 할 때는 모델에 따라 1.03~2.37배였습니다. 문서 임베딩처럼 읽기만 하는 작업이라면 토큰 증가가 비용에도 그대로 반영됩니다.

감지와 방어

Claude Fable 5.1, Opus 5.5, Sonnet 5는 별도 질문을 받지 않아도 이상한 문자를 지적했습니다. GPT-6 Sol과 Luna는 Flipped 문서에서는 발견했지만 Flooded 문서에서는 알아채지 못했습니다. GPT-6 Astra와 Haiku 4.5는 이상 문자를 지적하지 않았습니다. Sonnet 5는 Flooded 문서가 이상해 보이는지 답하지 않은 경우가 세 번 있었고, 거부할 때마다 입력 토큰 약 5,800개를 썼습니다. 이상 문자를 발견하더라도 이미 입력을 처리한 뒤라 비용은 줄지 않습니다.

작성자는 보고된 악용 사례를 찾지 못했다고 밝혔습니다. 다만 Microsoft는 9월에 스팸 필터를 피하려고 단어 사이에 보이지 않는 문자를 넣은 피싱 캠페인을 공개했고, 하루 최대 237만 통을 보냈다고 설명했습니다. 또 2026 OWASP Top 10 for LLM Applications에서 무제한 소비(Unbounded Consumption)가 10위에서 6위로 올라갔다고 짚습니다. 문자 수 제한만으로는 문자당 토큰 비용이 크게 늘어나는 입력을 막기 어렵다는 지적입니다.

방어책으로는 모델에 넣기 전에 confusable 문자를 일반 문자로 정규화하는 방법을 제시합니다. 작성자가 버전 0.23으로 다시 만든 namespace-guard의 canonicalise()는 조작 흔적이 있는 단어만 바꾸므로 실제 러시아어·터키어·사미어 단어는 그대로 둡니다. Flooded 계약서는 2밀리초 이내에 처리해 토큰 수를 깨끗한 문서의 3% 이내로 낮췄습니다. strategy: "all" 옵션을 쓰면 깨끗한 문서와 바이트 단위로 같게 복원합니다. 고객별 지출 한도도 함께 권합니다.

실험은 API가 아니라 CLI로 진행했습니다. GPT-6은 중간 추론 설정의 Codex CLI, Claude는 도구 없이 한 줄 시스템 프롬프트를 쓴 Claude Code로 실행했습니다. 빈 실행으로 각 도구의 고정 오버헤드를 측정해 빼고, 비용은 캐시 없이 공개 가격으로 계산했습니다. 토큰 수는 측정값이지만 비용 배율은 참고치이며, 계약서 한 건에 모델별 한두 번 실행한 결과입니다. 계약서와 실행 기록, 스크립트는 공개했습니다.

Reddit 반응

• @u/Underyx — Opus 5.5 가격으로 계산하면 이런 작업 하나에 0.01~0.05달러 정도 드는 것 같습니다. 3.9배가 실제로 얼마인지 알 수 있도록 글에 더 자세한 내용이 있었으면 합니다.
• @u/Ansible32 — 맙소사. Claude를 설계에 쓴 벤치마크는 참 이상합니다. 분석을 제대로 하지 않은 것 같습니다. 흥미로운 점은 비용이 늘어난다는 사실이 아닙니다. 실제로 큰 비용도 아니지 않나요? 흥미로운 점은 Sonnet이 Flooded 계약서가 이상해 보이는지 답하지 않았다는 겁니다. 왜 그런지 알고 싶지만, 거부 응답이나 모델이 명백한 악의적 조작을 알아채지 못한 이유를 전혀 분석하지 않았습니다. 모델이 입력을 조용히 바로잡았다는 식으로 암시하지만, 계약서에 이상한 점이 없다고 답한 모델이 잘못된 문자를 정확히 읽었다는 사실을 어떻게 확인했는지도 설명하지 않습니다.
• @u/Honest_Pumpkin_1298 — 흥미로운 개념입니다. 토큰 비용도 중요합니다.

원문: Paul Tendo / 번역·요약: Trawling