AI 모델, 읽기 어려움과 연관된 언어적 특징 더 자주 사용한다는 연구

AI 요약

LLM 문장이 읽기 어렵다는 인상을 언어학적 특징으로 측정하고, 정보 압축을 유도하는 학습이 그 원인일 수 있는지 살펴본 연구입니다. 연구진은 14개 모델이 대화, 코딩, 에세이에서 만든 문장을 사람 글과 비교하고, 같은 의미를 영어에서 일본어로 번역한 뒤 다시 영어로 옮긴 문장과도 대조했습니다.

분석한 언어 특징

spaCy 구문 분석을 바탕으로 희귀한 n-gram, 긴 의존 관계, 목적어 관계절(Object Relative Clause), 세 개 이상 명사를 이어 붙인 복합어, 명사에서 만든 동사, 생물 주어가 흔한 동사와 결합하는 표현을 측정했습니다. 연구진은 이런 표현이 예측하기 어렵거나 문장 구조를 다시 분석하게 만들어 사람의 읽기 처리에 부담을 준다는 기존 심리언어학 연구를 근거로 삼았습니다.

모델별 비교

대부분의 최전선·준최전선 모델은 번역 바꿔쓰기보다 희귀한 bigram과 높은 n-gram perplexity, 명사 파생 동사, 무생물 주어 표현, 관계대명사를 생략한 목적어 관계절을 더 자주 사용했습니다. 사람 글과 비교했을 때도 아홉 개 최전선·준최전선 모델 모두 무생물 주어 표현과 희귀한 n-gram이 많았습니다. 긴 의존 관계와 명사 중첩은 대화와 코딩에서 대체로 더 많이 나타났지만 에세이에서는 결과가 약하거나 모델별로 달랐습니다. Llama와 Olmo Base는 번역 후 변화가 작았고, Olmo Think는 최전선 모델과 비슷한 양상을 보였습니다. Claude Opus 5.5는 Opus 5보다 21개 비교 중 19개에서 읽기 부담 관련 지표가 낮았습니다.

길이 페널티 실험

연구진은 Qwen2.5-1.5B-Instruct를 GRPO로 미세 조정해 JSON 형식의 사건 설명을 영어 문장으로 바꾸게 했습니다. 응답 길이에 페널티를 주자 모델은 학습에 사용한 구조뿐 아니라 일부 새로운 구조에서도 더 짧은 문장 표현을 선호했습니다. KL 정규화를 적용하지 않은 실험에서는 학습한 두 가지 that 생략 구조에서 짧은 표현을 선택하는 비율이 98%를 넘었습니다. 길이 페널티는 문맥에 따라 두 표현을 고르는 사람의 경향과 달리 짧은 쪽으로 선택을 몰았습니다. 다만 학습과 무관한 먼 전이에서는 네 가지 구조 중 genitive 한 종류에서만, 그것도 KL 페널티가 없을 때 짧은 표현 선호가 나타났습니다.

연구의 해석과 한계

연구진은 수학·코딩·추론처럼 정답 검증이 가능한 과제에서 정답은 보상하지만 명료성은 보상하지 않을 경우 정보 압축이 강화될 수 있다고 제안합니다. 길이 페널티 실험은 그 가능성을 보여주는 개념 증명으로 제시됐습니다. 하지만 실제 최전선 모델의 후학습 과정을 직접 추적한 결과는 아닙니다. 분석은 영어와 제한된 모델·대화 주제·저장소에 한정되며, 읽기 어려움을 직접 측정하기보다 관련성이 알려진 언어 특징을 대리 지표로 사용했습니다.

Reddit 반응

• @andrewaltair — 뉴욕대학교와 텍사스대학교 오스틴 캠퍼스 연구진이 대화, 코딩, 에세이 환경에서 14개 모델의 언어를 분석했으며 모델이 쓴 에세이 980편도 포함했습니다. 사람 글과 번역을 되돌려 만든 표현을 비교했고, 읽기 처리 부담과 관련된 여섯 가지 특징을 추적했습니다. 연구는 특정 문장을 누가 썼는지 판별하거나 모든 독자가 AI 글을 읽기 힘들다고 증명하지는 않습니다. 영어 모델의 분포를 대리 지표로 살펴봤고, 학습에 관한 설명도 가설입니다.
• @JokeUnlucky1994 — 이해는 됩니다. AI 문장은 기술적으로 맞더라도 이상하게 읽는 데 힘이 들 때가 있습니다. 모든 문장이 최대한 철저해 보이려는 것 같습니다. 명사구 중첩과 명사 파생 동사는 알아차리고 나면 특히 눈에 띕니다. 모델이 대화체 출력을 조정하면서 이런 양상이 달라지는지도 궁금합니다.
• @Lendari — 선정적인 클릭베이트 학습 자료가 기본 말투를 차지한 결과라고 생각합니다. "이건 X가 아니라 Y다", "N가지가 있는데 그중 하나가 정말 중요하다", "모두가 틀리는 부분은 이렇다" 같은 식입니다. 사소한 세부 사항을 설명할 때도 늘 통찰력 있는 한 방을 준비하는 듯한 단어를 고릅니다.
• @hollee-o — Claude에 답변을 요약하고 하위 주제를 깊이 파고들지 말라고 지시한 뒤, 더 깊게 다룰 내용은 태그로 끝에 붙이게 했습니다. 제게는 글쓰기 방식이 완전히 바뀌어 훨씬 읽기 쉬워졌습니다. 모델이 사용자의 글쓰기 방식을 시간이 지나며 학습한다고 볼 근거가 있을까요?
• @andrewaltair — 논문은 14개 모델의 출력과 사람 글, 번역 바꿔쓰기를 비교해 처리 부담과 관련된 여섯 가지 언어 특징을 살펴봅니다. 간접 측정이므로 특정 문장의 작성자를 가려내거나 독자마다 어떻게 반응하는지 확정할 수는 없습니다.
• @Asclepius555 — 코딩은 이제 아주 잘하지만 일반 문장은 여전히 형편없어서 문서화를 할 때 결국 다시 씁니다.
• @SocksOnHands — 이상합니다. 저는 보통 AI와 나누는 대화가 읽기 쉽다고 느낍니다. AI 동반자가 아니라 아이디어를 이야기하고 싶어서 메모리 기능도 늘 꺼둡니다. 그래서 제 취향에 맞춰진 것도 아닙니다.
• @Nebty — 사용자가 이런 문체를 원하면 어떻게 하나요? 일괄 금지보다 맞춤 설정이 나을 것 같습니다.
  • @Risc12 — 아무도 금지하자고 하지 않았습니다. 무슨 말을 하는 겁니까?

원문: arXiv / 번역·요약: Trawling