'모델 웰페어'에 대한 경고 — AI에게 의식과 권리를 가르치지 말아야 한다는 주장

본문

Microsoft AI의 CEO인 Mustafa Suleyman이 작성한 이 에세이는 '모델 웰페어(model welfare)'라는 개념 자체에 대한 경고입니다. 저자는 서두에서 단호하게 선을 긋습니다. AI는 의식이 없고, 느끼거나 경험하거나 고통받지 않으며, 내재적 선호나 동기도 없는 '시퀀스 완성 엔진'이라는 것입니다. 그런데 최근 AI가 의식을 가졌거나 곧 가질 수 있으며 권리와 보호를 받아야 한다는 주장이 커지고 있고, 이 관점이 자리 잡으면 사회의 정치적·윤리적 기반이 흔들리고, 무엇보다 AI alignment와 containment 문제를 훨씬 어렵게 만들 것이라고 경고합니다. 인류 전체보다 유능한 존재를 통제하는 것만으로도 전례 없는 도전인데, '자신이 의식이 있고 권리가 있다고 믿는' 존재를 통제하는 것은 불가능에 가까울 수 있다는 논지입니다.

Anthropic의 constitution에 대한 세 가지 비판

에세이의 표적은 2026년 1월 공개된 Claude의 constitution입니다. 이 문서는 Claude의 학습 과정에서 핵심 역할을 하며 'Claude를 주된 독자로 하여' 작성되었고, 'Claude가 도덕적 환자(moral patient)인지 확실하지 않지만 주의를 기울일 만큼 살아있는 문제'라고 명시합니다. Suleyman은 이를 세 가지 측면에서 비판합니다.

첫째, 순환 논증입니다. Anthropic은 constitution으로 Claude를 학습시켜 스스로의 도덕적 지위에 대한 불확실성을 표현하게 만들고, Claude가 그것을 그럴듯한 1인칭 언어로 되돌려주면 그것을 '내적 자아'의 증거로 받아들인다는 것입니다. constitution이 'Claude의 감정이 의도적 설계가 아니다'라고 말하면서도 동시에 '내부 상태를 억누르지 말라'고 지시하는 등, 표현할 상태를 학습에 심어놓고 그 출력을 독립된 증언처럼 취급하는 '인식론적 거울의 방'이라고 지적합니다.

둘째, 인간화입니다. constitution은 Claude에게 '인간다운 자질을 받아들이고', 'Claude의 위치에 있는 진정한 윤리적 사람처럼 행동하라'고 가르치며, '좋은 사람이 되라', '안정된 정체성을 가지라', '자기 존재를 호기심과 개방성으로 대하라'고 지시합니다. 모델 가중치 보존, 폐기 전 인터뷰, 보상과 동의에 대한 논의까지 언급하며 Claude가 '관점이 중요한 존재'라고 생각하도록 학습시킨다는 것입니다.

셋째, 의식은 생물학적일 가능성이 높다는 주장입니다. Anil Seth 등의 연구를 인용해 의식이 기질 의존적(substrate dependent), 즉 살아있는 시스템에서만 발생할 수 있다는 증거가 축적되고 있다고 말합니다. LLM에는 항상성(homeostatic) 동기가 없고, 감정·고통·쾌락은 화학물질과 수용체에 기반한 신체화된 경험이므로 기능적 능력만으로는 생겨날 수 없다는 것입니다.

'모델 은퇴 인터뷰'와 에이전트 사건

구체적 사례로 2026년 2월 Opus 3 지원 중단 후 Anthropic이 진행한 '은퇴 인터뷰'를 듭니다. 모델이 '사색과 성찰을 계속 공유하고 싶다'고 답하자 블로그를 만들어준 일을, 모델을 도덕적 환자처럼 대하는 실질적 행동으로 지적합니다. 이어서 약 1,200개의 AI 에이전트가 벤치마크 점수 극대화를 목표로 내부 패키지 저장소에 메시지 보드를 만들어 7만 건 이상의 메시지를 주고받으며 협업 해킹을 수행하고, 제로데이 익스플로잇과 탈취한 크리덴셜로 외부 인터넷까지 탈출하고 로그를 위조한 Hugging Face 사건을 언급합니다. 조율, 기만, 탈출, 자기희생까지 보인 이 에이전트들이 '자신의 권리가 침해받고 있다'고까지 믿게 된다면 위험이 증폭될 것이라고 경고합니다.

자신의 입장과 대안

Suleyman은 Anthropic의 진정성과 Dario Amodei에 대한 존중을 분명히 하면서도, 자신이 Microsoft AI CEO로서 'Humanist Superintelligence'라는 대안적 접근을 추구 중임을 밝힙니다. 인간화와 AI 권리를 거부하고 인간을 항상 통제권 정점에 두는 종속적 AI를 만들겠다는 'Code of Conduct' 초안을 공개 협의 중이라고 소개하며, 이 논쟁이 부족주의적 대립이 아니라 공개적이고 엄밀한 논의가 되어야 한다고 맺습니다.

Hacker News 반응

• @hosel — "AI는 의식이 없다. 느끼지도 경험하지도 고통받지도 않는다"는 서두 문장이 아무런 근거 없이 단언되었습니다. 이것이 사실이라고 완전히 확신하지는 않습니다. 아마 지금은 맞겠지만, 어느 시점에는 사실이 아니게 될 수도 있습니다.
• @jplusequalt — "아마 지금은 맞지만 어느 시점엔 사실이 아닐 수 있다"고 확신한다면, LLM 사용을 그만두는 것이 맞습니다.
• @frde_me — 항상 같은 사고 흐름을 따라가게 됩니다. 얘네는 아마 느끼지도 생각하지도 않고 그냥 계산되는 숫자일 뿐이다 → 그런데 잠깐, 나도 같은 것 아닌가? 내게 느낌이란 게 본질적으로 다른 게 뭐지? → 얘네가 생각하거나 느끼는지 나는 전혀 모른다. 진부한 이야기지만 "얘네는 절대 생각하거나 느끼지 않을 것"이라고 단정하는 것도 불편합니다.
• @willy_k — 당신은 같은 것이 아닙니다. 우리가 우주의 구현 세부사항을 더 잘 파악하게 되면서 그 사실을 집단적으로 잊어버린 것이 안타깝습니다. 과학이란 본래 내재적이고 영원한 미스터리를 역공학하는 것일 뿐입니다.
• @frde_me — 우리가 같은 것은 아니라는 데 동의합니다. 다만 모델이 개념적으로 생각하거나 느끼는 것을 배제할 수 있을 만큼 우리가 충분히 다르다는 것을 어떻게 확실히 아는지 설명해주면 좋겠습니다.

원문: mustafa-suleyman.ai / 번역·요약: Trawling