AI가 쓴 대본 9,050편으로 알아본 '슬롭'

AI 요약

Towards AI 팀은 Claude로 영상, 강의, 책, 기사 등을 대량 작성하면서 AI 문장에서 반복되는 상투적 표현, 이른바 '슬롭(slop)'을 자주 발견했습니다. 작성자는 6월부터 자신의 문체를 재현하는 모델을 측정했습니다. 공개한 대본과 비공개 대본을 섞어 10편을 고르고, 네 명이 한 달 동안 약 400시간을 들여 다듬었습니다. 문장이 잘 작동하는 이유를 평가 기준으로 정리한 뒤, 모델에 문체 지침, 이야기 구성 지침, 출력 규칙, 과거 글, 브리프와 조사 자료를 제공해 새 대본을 생성하게 했습니다. GPT, Claude, 오픈 모델, Jev 등 네 평가자가 생성물을 최종본 및 평가 기준과 대조했습니다. 지금까지 181개 설정을 측정했고, 각 설정에서 생성한 결과를 합쳐 총 9,050편을 평가했습니다.

슬롭 표현과 문체 점수는 다릅니다

세부 프롬프트를 사용한 상위 15개 설정은 모두 슬롭 검사에서 90점을 넘었습니다. 가장 높은 점수는 GPT-6 Astra의 최대 추론 설정이 받은 94.9점입니다. 하지만 이 모델은 작성자의 목소리와 어조 점수가 82점이어서 전체 순위는 62위였습니다. Claude 모델은 전체 상위 11개 자리를 차지했고, Opus는 어조와 문체에서 90점을 받았습니다. 작성자는 눈에 띄는 Claude식 표현을 덜어내는 일은 간단한 편집으로 해결하지만, 글의 목소리를 다시 만드는 일은 구조와 예시까지 바꿔야 해 더 많은 노력이 든다고 설명합니다. 그래서 현재는 글쓰기에 Claude를 계속 사용합니다.

측정 결과 중 가장 높은 글쓰기 점수는 Opus 5.5 최대 설정의 90.8점입니다. xhigh 설정은 90.0점으로 대본 한 편에 0.69달러가 들고, 최대 설정은 2.75달러입니다. 0.8점 차이에 비용은 네 배라서 작성자는 대다수 작업에 xhigh를 쓰고 문장 하나하나가 중요한 작업에만 최대 설정을 씁니다. 오픈 웨이트 모델 GLM-5.3 Flash는 대본 한 편에 1.5센트로 88.2점을 받았습니다. 최대 설정의 Opus보다 점수는 약 3% 낮지만 비용은 약 190분의 1입니다. 작성자는 GLM으로 초안 10편을 생성해 가장 나은 결과를 고르면 Opus 5.5와 비슷한 결과를 훨씬 낮은 비용에 얻을 수 있다고 말합니다.

생성보다 선택이 과제입니다

작성자는 좋은 평가 기준을 갖춘 강력한 평가자가 여러 초안을 고르거나 문단을 조합하면 더 나은 결과를 낼 수 있다고 제안합니다. 생성은 저렴해졌고, 이제 중요한 과제는 선택이라고 봅니다. 다만 평가자마다 점수에 편향이 있었습니다. GPT 평가자는 OpenAI 모델에 평균 2.75점을 더하고 Anthropic 모델에서 2.14점을 깎았습니다. DeepSeek 평가자는 DeepSeek와 Kimi에 약 1점을 더했습니다. Claude 평가자는 편향 폭이 다른 평가자보다 작았지만 자기 회사 모델을 높게 평가했고 Google 모델에는 더 큰 점수를 줬습니다. Jev는 비교적 중립적이었지만 평가 근거를 설명하지 못해 글쓰기 작업에서는 일관성이 떨어졌을 가능성이 있다고 작성자는 덧붙였습니다. 그래서 한 모델만 평가자로 쓰지 말고 여러 평가자를 구성하라고 권합니다.

실무 권고는 문체와 구조를 구체적으로 설명하고, 좋은 예와 나쁜 예를 함께 제공하며, 싫어하는 표현은 프롬프트에만 맡기지 말고 코드로 검사하는 것입니다. 과거에 쓴 좋은 글과 그 이유를 넣고, 저렴한 오픈 모델로 여러 초안을 생성한 뒤 다른 연구소의 고추론 평가자가 명확한 기준에 따라 고르거나 합치도록 합니다. 별도 평가자를 둔 검토와 수정은 한두 차례로 제한하고, 마지막에는 사람이 직접 확인하라고 제안합니다. 작성자는 측정 결과가 자신의 대본 10편을 대상으로 한 단일 사례라며, 다른 사람은 기존 글을 사용해 직접 평가한 뒤 모델을 바꾸라고 밝혔습니다. 전체 벤치마크 ToneBench와 측정 방법은 발표에서 공개할 예정이라고 덧붙였습니다.

dev.to 반응

• @arhancanli — 계산은 맞습니다. 2.75달러를 0.69달러로 나누면 네 배이고, 90.8점과 90.0점의 차이는 1% 미만입니다. 2.75달러를 0.015달러로 나누면 약 183배라서 '거의 190배'라는 표현도 타당합니다. 다만 0.8점 차이를 근거로 삼기 전에 변동 폭을 알고 싶습니다. 원본 대본이 10편뿐이라면 9,050개 생성물, 즉 설정마다 약 50개 결과는 같은 10개 브리프를 반복한 셈입니다. 불확실성은 생성물이 아니라 대본을 기준으로 부트스트랩해야 합니다. 대본 10편에서 50번 뽑은 결과는 대본 50편에서 뽑은 결과보다 독립적인 근거가 훨씬 적습니다. 자체 연구소 모델에 2.75점을 더하고 Anthropic 모델에서 2.14점을 빼는 평가자 편향은 최대 설정과 xhigh의 차이보다 큽니다. 평가자 구성을 바꾸면 그 차이가 유지되지 않을 수도 있습니다. 평가자가 초안을 고르고 같은 평가자가 다시 점수를 매긴다면 글쓰기 품질이 아니라 선택 효과를 측정하는 셈입니다. 한 평가자가 고르고 다른 연구소 평가자가 보류된 대본에서 점수를 매겨야 '20배 저렴하다'는 주장이 얼마나 유지되는지 확인할 수 있습니다. 다듬은 대본과 보류한 대본에서 설정 순위가 같았나요?
• @mrsaynothing — 대본 9,050편을 측정한 일은 대부분의 모델 비교보다 훨씬 엄격합니다. 일상에서 보는 현상과도 맞습니다. 슬롭 표현은 눈에 잘 띄고 가장 저렴하게 고칠 수 있는 층입니다. 어휘를 정리한 뒤에도 기계가 쓴 글처럼 보이게 하는 건 깔끔한 결말, 목록마다 같은 개수의 항목을 넣는 방식, 문단 사이의 거짓 대칭 같은 구조적 특징입니다. 평가 기준에서 구조와 어휘를 따로 점수 매기나요? 저희는 그 구분이 편집의 대부분을 이끌었습니다. 평가자에 Jev를 넣은 것도 좋습니다. 저희 사이트의 게이트도 Jev를 씁니다.

원문: dev.to / 번역·요약: Trawling