AI에게 글쓰기를 맡기면 안 되는 거의 모든 이유

AI 요약

에릭 그루네월드(Eric Grunewald)는 블로그 글, 연구 보고서, 메모, 사려 깊은 이메일, 소설처럼 아이디어·주장·분석을 전달하는 실질적인 텍스트를 AI로 작성하지 말아야 한다고 주장합니다. 사용자가 상세한 불릿 포인트나 구술한 생각을 제공했거나, AI가 쓴 초안을 직접 편집하더라도 결론은 크게 달라지지 않는다고 합니다. 다만 AI 자체를 반대하는 것은 아니며, 오디오 전사, 데이터 분석, 정보 검색, 브레인스토밍, 초안에 대한 피드백, 사람이 각 문장을 의도적으로 수락하거나 거부하는 라인·카피 편집과 문장 다듬기에는 AI를 활용할 수 있다고 구분합니다.

■ 글쓰기는 사고와 검증의 과정입니다

저자는 연구의 목적을 중요한 질문에 대해 정확한 믿음을 형성하고 이를 독자에게 전달하는 일로 봅니다. 글쓰기는 이미 정리된 생각을 옮기는 마지막 단계가 아니라, 근거와 주장을 실제 문장과 문단으로 배열하면서 논리의 빈틈과 모순을 발견하는 과정이라는 설명입니다. Paul Graham은 잘 알고 있다고 생각한 주제도 글로 써 보면 실제로는 충분히 알고 있지 않았다는 사실을 알게 되며, 에세이에 들어가는 생각의 절반은 쓰는 동안 떠오른다고 말합니다.

Clara Collier는 개요를 완성된 글로 바꾸는 과정에서 전환 문장이 작동하지 않는 이유를 따라가다 보면, 서로 붙여 놓은 두 주제가 사실 함께 놓여서는 안 된다는 점이나 애초에 하려던 작업이 잘못됐다는 점을 발견한다고 설명합니다. Patrick McKenzie는 글쓰기 기계를 만들었더니 그 부산물로 사고가 튀어나오는 현상이 나타났다는 점을 들어, 글쓰기와 사고의 연결을 경험적으로 확인할 수 있다고 말합니다. 저자는 다면적인 글을 직접 문장과 문단으로 구성해야 주장에 반하는 근거, 부족한 조사, 인정해야 할 반론, 자신이 쓰고 싶어 하는 결론보다 실제로 정당화할 수 있는 결론이 더 약하다는 사실을 마주하게 된다고 정리합니다. AI에 개요를 입력하면 이 필수적인 사고를 건너뛰기 쉬워진다는 주장입니다.

■ AI 문장은 그럴듯하지만 모호하고 미묘하게 틀립니다

저자는 Claude Fable 5에 AI 칩 밀수 문제를 소개하는 짧은 문단을 작성하도록 요청한 사례를 제시합니다. 생성된 문단은 2022년 10월 이후 미국의 대중국 첨단 AI 칩 수출 제한, 싱가포르·말레이시아·아랍에미리트(UAE)를 거치는 우회 네트워크, 연간 수만 개에서 10만 개가 넘을 수 있다는 추정, 미국 상무부 산업안보국(Bureau of Industry and Security, BIS)의 단속 역량 부족을 언급합니다. 겉보기에는 합리적이지만, 저자는 문장마다 독자가 놓치기 쉬운 문제가 있다고 지적합니다.

예를 들어 수출 통제가 집행만큼 강하다는 표현은 당연한 사실을 말하거나 정확한 의미를 전달하지 않습니다. AI 칩이 작다는 설명도 실제로 밀수되는 대상이 AI 서버인 경우에는 부정확할 수 있고, 물품을 세관에 숨기기보다 다른 상품으로 라벨을 바꿔 공개적으로 운송하는 밀수 방식과도 맞지 않을 수 있습니다. 복잡한 글로벌 공급망이 칩을 밀수하기 쉽게 만든다는 표현 역시, 미국 기업에서 직접 조달하기 쉽다는 뜻인지, 특정 국가에서 대량 구매해도 눈에 덜 띈다는 뜻인지 불분명합니다.

밀수 규모를 수만 개에서 10만 개 이상이라고 제시하는 부분도 숫자만 보면 사실일 수 있지만, 낮은 추정치가 거의 확실히 틀렸을 가능성, 연도별 물량 변동, ‘고급 칩’의 구체적인 정의를 설명하지 않아 오해를 만든다고 합니다. 하위 추정치만으로도 역량 있는 AI 시스템의 훈련과 배포에 영향을 줄 수 있다는 문장은 정보량이 거의 없다고 봅니다. 칩 한 개도 어떤 의미에서는 영향을 줄 수 있고, ‘역량 있는 AI 시스템’이 무엇인지도 설명하지 않기 때문입니다. BIS가 수천억 달러 규모의 무역을 담당한다는 표현 대신 실제 금액과 기관의 예산·인력을 제시하고 비교해야 하며, 자원이 더 작은 문제에 적합하다는 식의 문장도 무엇이 작다는 뜻인지 불명확하다고 지적합니다. 마지막의 미국 AI 정책의 핵심 기둥을 조용히 무너뜨린다는 표현은 구체적인 정보를 주지 않는 박수 유도 문구(applause light)에 불과하다고 평가합니다.

저자는 이런 문제가 한두 개라면 큰 문제가 아닐 수 있지만, AI가 작성한 글에는 불필요하게 모호하고 미묘하게 틀린 표현이 매우 높은 밀도로 들어간다고 말합니다. 특히 AI는 자신이 모르는 내용을 모른다고 멈추기보다, 틀렸다고 단정하기 어렵도록 모호하게 쓰거나 사실처럼 들리지만 반드시 참은 아닌 문장을 만드는 경향이 있다고 합니다. 독자가 해당 분야의 전문 지식을 갖고 있지 않다면 이를 찾아내기 어렵습니다. 반면 직접 글을 쓸 때는 자신이 어디에서 혼란스러운지를 피하기 어렵기 때문에, 문제를 글의 작성 과정에서 발견할 수 있다는 설명입니다.

■ 읽고 동의하는 것과 직접 만들어 내는 것은 다릅니다

Eric Schwitzgebel은 전문가의 단어 선택에는 전문가가 스스로 인식하지 못하는 감각까지 반영되며, LLM(Language Model)의 문장보다 전문 분야에 더 민감하게 반응한다고 말합니다. AI가 만든 문장을 모두 읽고 각 단어를 승인했다면 자신의 판단이 반영된 것 아니냐는 반론에 대해, 저자는 화면에 이미 놓인 문장을 읽으며 고개를 끄덕이는 일과 문장을 처음부터 생산적으로 만들어 내는 일 사이에는 큰 인지적 차이가 있다고 답합니다.

이미 완성된 대략적인 표현이 있으면 사람은 그것으로 충분하다고 수동적으로 받아들이기 쉽습니다. 또한 사람은 자신이 단어를 선택할 때 고려하는 모든 요소를 스스로 완전히 파악하지 못하기 때문에, 원래라면 약간 다르게 표현했을 문장을 AI가 제시해도 그 차이와 의미 변화를 알아차리지 못할 수 있습니다. 따라서 AI 초안을 검토했다는 사실만으로 직접 썼을 때와 같은 수준의 사고가 수행됐다고 보기는 어렵다는 주장입니다.

■ AI 글쓰기는 독자와의 암묵적 계약을 훼손할 수 있습니다

저자는 공개 글, 동료에게 보내는 초안, 이메일, 출판사에 제출하는 원고를 읽는 사람은 작성자가 해당 내용에 생각을 들였고 글이 작성자의 견해를 나타낸다고 기대한다고 말합니다. 독자는 관심과 시간을 제공하고, 글쓴이는 정보나 오락처럼 다른 곳에서 쉽게 얻기 어려운 가치를 돌려준다는 것이 글쓰기의 암묵적 계약입니다. Clara Collier도 누구나 언제든 Claude에 같은 질문을 할 수 있는데, 자신이 쓴 글을 읽는 이유는 모델에 직접 묻는 것보다 더 나은 내용을 기대하기 때문이라고 설명합니다.

AI가 만든 글에 모호함과 미묘한 오류가 많고, 작성자가 그 내용을 얼마나 깊게 생각했는지 알 수 없다면 이 계약이 깨집니다. 저자는 AI가 전부 또는 일부 작성했다는 사실을 발견하는 순간 글과 작성자에 대한 신뢰가 합리적으로 낮아진다고 말합니다. AI 작성 사실을 밝히지 않은 채 공유하는 행위는 엉성하게 작성된 초안을 숨기고 보내는 것과 비슷하게 무례하며, 독자가 글을 작성자의 신중한 생각과 믿음으로 받아들이게 만든다는 점에서 오해를 일으킨다고 합니다.

■ 허용할 수 있는 예외와 실무적 경계

AI가 만든 문장을 명확히 표시한다면 특정 주장이나 정보를 인용하는 것은 대체로 괜찮다고 합니다. 예를 들어 충분히 검증할 가치가 낮은 얕은 조사에서 Claude의 답을 얻었다면, ‘Claude Fable 5는 이렇다고 말합니다’라고 표시해 독자가 그 내용을 감안해 판단하도록 할 수 있습니다. 그러나 전체 실질 문서를 AI가 작성했다고 밝히는 것은 여전히 거의 좋은 선택이 아니라고 봅니다. 결과물이 직접 쓴 글보다 나쁠 가능성이 높고, 독자도 AI 작성 사실을 알면 글을 읽지 않을 가능성이 크기 때문입니다.

영어가 모국어가 아닌 사람이 AI로 영어 글을 작성하는 경우에도 저자는 같은 이유로 공개하지 않은 사용을 받아들이지 않습니다. 다만 모국어로 작성한 글을 AI로 번역하는 일은 상대적으로 허용할 수 있으며, 이 경우에도 공개하는 편이 낫다고 합니다. AI는 불릿 포인트에서 새 글을 작성할 때보다 이미 작성된 글의 명확성과 정확성을 유지하며 번역할 때 더 나은 성능을 보인다는 것이 저자의 판단입니다.

정책 메모처럼 중요한 글을 AI로 빠르게 작성해야 하는 상황에 대해서도, 속도 향상이 실제로는 품질 저하에서 나온다면 바람직하지 않다고 주장합니다. 워싱턴 D.C.에는 거의 아무도 읽지 않는 보고서와 이슈 브리프가 이미 넘치며, 정책 담당자에게 필요한 것은 더 많은 문서가 아니라 중요한 주제에 대한 더 정확하고 사려 깊은 분석이라는 설명입니다. 반복적이고 정형화된 짧은 조정·물류 이메일은 AI로 초안을 만든 뒤 가볍게 편집해도 괜찮은 예로 제시합니다. AI 초안을 매우 면밀하게 검토하고 크게 편집하는 경우도 가능성은 열어 두지만, 그렇게 할 정도라면 처음부터 직접 쓰는 것보다 빠르거나 쉽지 않을 수 있다고 합니다.

■ Hacker News 반응

Hacker News에서는 이 글이 197점을 얻었고 댓글 111개가 달렸습니다. 상위권 논의에서는 AI가 사고를 대신하는지, 아니면 표현을 탐색하는 도구로 사용자가 더 나은 문장을 찾도록 돕는지가 쟁점이 됐습니다.

• @atdt — 이 조언은 너무 거칩니다. 저는 LLM이 기술 보고서를 더 잘 쓰는 데 도움을 줬다고 믿습니다. 저는 언어에 대한 감각이 예리해서, 문장이나 문단이 요점을 단단히 짚지 않고 그 주변을 맴도는지는 대체로 알아차릴 수 있습니다. 어떤 작가들은 불명확한 산문이 불명확한 사고의 결정적인 증거이며, 글쓴이가 충분히 생각하지 않았다는 신호라고 주장합니다. 제 경험은 다릅니다. 머릿속에는 명확한 생각이 있지만 그것을 표현할 적절한 관용구를 찾지 못하는 경우가 자주 있습니다. 계속 고치다 보면 찾을 때도 있지만, 한 문장을 너무 오래 바라보면 특정한 언어적 틀에 얽혀 빠져나오기 어려워질 수 있습니다. LLM은 관용구 목록이 방대하고 지치지 않으며 무한히 인내하기 때문에 도움이 됩니다. 한 문장을 계속 반복해서 다듬어도 새로운 표현을 계속 제시합니다. 신중하게 방향을 제시하거나 무작정 반복하는 방식으로 결국 올바른 울림을 가진 표현을 찾아냅니다. 혀끝에서 맴도는 단어처럼, 들으면 알아볼 수 있습니다. 저에게 이 글쓰기 과정의 결과물은 언어의 상당 부분이 에이전트에서 처음 나왔더라도 목소리는 분명히 제 것이라고 느껴지는 문서인 경우가 많고, 저자라는 감각도 분명합니다. 모든 단어에 현미경을 대듯 주의를 기울였기 때문에 여전히 제 작업입니다. 대리석은 에이전트의 것이지만 끌과 망치는 제 손에 있습니다.

• @breezybottom — 목소리가 분명히 자신의 것이라고 말하지만, 그것은 환상입니다. 저는 당신의 댓글이 AI가 쓴 것임을 알아볼 수 있습니다.

• @atdt — 지금은 혼란스러운 시기이고 우리 모두 속을까 봐 취약함을 느낀다는 점은 이해합니다. 하지만 이런 확신에 찬 비난은 실제로 상처를 줄 수 있으니 조금 더 신중하게 해 주시기 바랍니다. 당신은 사실관계에서 틀렸습니다. 저는 개인적인 콘텐츠를 작성하거나 수정하는 데 LLM을 사용하지 않습니다.

• @mh- — 명확한 생각을 머릿속에서 글로 옮기려고 할 때 같은 문제를 겪는 저에게 흥미로운 댓글이었습니다. 참고로 상위 댓글에 답하기 위해 Pangram 크레딧을 일부 사용했습니다.

• @mh- — 왜 그렇게 생각했는지는 알 수 있지만, Pangram은 그렇지 않다고 말합니다. https://www.pangram.com/history/3d55b442-d151-4490-9c71-28d0...

원문: Eric Grunewald’s Substack / 번역·요약: Trawling