AI 안전은 대부분 섹스 컬트다 — 유드코프스키와 래셔널리스트 운동을 고발한 스레드

본문

Bluesky에서 AI 안전 운동의 기원과 현재의 권력 구조를 정면으로 비판하는 장문의 스레드가 화제가 되었습니다. 저자는 이 운동의 지적 중심이 팬픽 작가가 시작한 섹스 컬트이며, 이런 사람들이 정책을 만들어서는 안 된다고 주장합니다. 단순한 조롱이 아니라 인물·자금·용어의 계보를 하나씩 짚어가는 방식으로 논지를 전개합니다.

유드코프스키라는 지적 중심

저자는 AI 안전 담론의 중심에 엘리저 유드코프스키(Eliezer Yudkowsky)가 있다고 지적합니다. 그가 셰인 레그와 데미스 허사비스를 피터 틸에게 연결해 DeepMind 창업 자금을 마련하게 했고, OpenAI 시니어 직원이자 비공식 대변인 격인 Roon조차 그를 섹스 컬트를 운영하면서도 AI 의견은 중요하게 다뤄야 할 인물로 평가한다는 것입니다. 현 Anthropic CEO 다리오 아모데이가 2013년 유드코프스키 비영리단체의 블로그에서 EA 커뮤니티 멤버로 소개되어 페이퍼클립 맥시마이저를 놓고 논쟁한 기록도 제시합니다. AI 정렬(AI Alignment)이라는 표현 자체가 그의 비영리단체가 처음 일관되게 사용해 퍼뜨린 것이며, 샘 알트만의 집에 방화를 시도한 남성이 유드코프스키를 주된 영감으로 꼽았다는 사실도 언급합니다. 이 운동을 태동시킨 팬픽은 「해리 포터와 합리성의 방법(Harry Potter and the Methods of Rationality)」이며, 저자는 이를 가장 영향력 있는 현대 종교 텍스트라고 부릅니다.

종말론 프레임워크와 버클리 공동체

유드코프스키의 가장 파급력 있는 아이디어는 AI가 초지능(RSI)에 도달해 통제를 벗어나 인류를 절멸시킨다는 둠 시나리오이며, 현재 AI 안전·정렬 논의 대부분이 이 프레임을 그대로 전제한다고 분석합니다. 이 아이디어가 전염성이 강한 이유는 모든 종말론적 컬트와 같은 신경증을 자극하기 때문이며, 세상이 끝나고 특별한 우리만이 막을 수 있다는 구조라는 것입니다. 이들은 버클리에서 그룹 하우스라 부르는 공동체에 모여 살며 다원애 관계이고, 같은 행사와 저자들을 공유하며, AI 기업과 비영리단체의 안전·레드팀·정렬 팀에 특히 많이 포진해 있다고 주장합니다. 파생 컬트 중 일부는 심각한 비극으로 끝났으며 그중 하나가 Zizians라고 덧붙입니다.

Lighthaven과 자금, SlutCon

이 운동의 상징적 거점은 버클리의 옛 로즈 가든 인을 개조한 Lighthaven으로, 2022년 말 래셔널리스트 자선단체가 FTX 붕괴 직전 SBF의 자금으로 매입했다고 합니다. 저자는 붕괴 직전 송금을 밀어넣을 수 있던 인물 중 한 명이 레오폴드 아셴브레너이며, 그의 배우자가 Anthropic의 Chief of Staff라고 지적합니다. Lighthaven에서는 Astral Codex Ten 독서 모임, The Curve·EAGxBerkeley·MATS 같은 행사와 함께 Aella가 주최하는 SlutCon도 열립니다. 유드코프스키의 주된 파트너가 그의 비영리단체에서 약 20만 달러 연봉의 어시스턴트로 일하며 이 행사를 개최한다고 밝히고, 시설 관리자가 Aella의 매니저를 겸하는 이중 역할도 문제 삼습니다. 저자는 이것이 성에 대한 보수적 비판이 아니라, 종말 비영리단체에서 함께 일하면서 팬픽으로 젊은 이상주의자들을 모집한다는 구조가 문제라고 정리합니다.

정책 비판: 반독점법 면제와 속도 규제

저자는 최근 다리오 아모데이, 샘 알트만, 일론 머스크, 데미스 허사비스가 연구 속도를 늦추기 위해 반독점법 면제를 요구하며 한목소리를 낸 사건을 이 운동의 최종 결과물로 꼽습니다. 제약회사들이 모여 의학 연구를 금지하는 카르텔을 만들겠다는 것과 다를 바 없으며, AI 연구의 상당 부분이 실제 의학 연구라고 지적합니다. 다른 어떤 산업도 규제를 멈춤·일시정지·감속의 언어로 표현하지 않는다며, AI 산업이 이런 식으로 규제를 논하는 이유는 핵심에 AI를 세계 종말의 원인으로 숭배하고 두려워하는 천년왕국적 컬트가 있기 때문이라고 결론 내립니다.

Hacker News 반응

• @Razengan — AI 섹스 봇에야말로 분명 안전 장치가 필요할 것이다.
• @TacticalCoder — 효율적 이타주의(EA)가 섹스 컬트라는 문제를 누군가 제기한 것은 좋다. 본문 속 여성 한 명과 그녀를 지켜보는 남성 여섯의 사진에 대해 페미니스트들이 뭐라고 할지 듣고 싶다. 포르노 사이트를 운영했던 아모데이의 아내에 대해서도 마찬가지다. 여성을 착취하는 섹스 컬트도 문제지만 절도는 또 다른 문제다. 다원애 관계였던 SBF와 캐럴라인 엘리슨, 그리고 영국의 1,500만 달러 부당 취득 저택(아직 환수되지 않았지만 가능하다) 같은 그들 내부의 거짓말쟁이들에 더 초점을 맞춰야 한다.
• @randallsquared — 그 사진은 포르노 배우의 홍보 이미지를 기반으로 한 밈을 패러디한, 문자 그대로 농담이다. 페미니스트가 신경 쓴다면 이 풍자보다 원래 소재 자체에 관한 것일 것이다.
• @iand675 — 나도 이 주제에 대해 훨씬 길게 쓴 글이 있다. 더 깊이 들어가고 싶다면 읽어보라.
• @somebodyusedtok — 저자는 문제를 이해하지 못하고 있다. 자신의 아이디어를 뒷받침하는 근거 없이 감정만 있다. 그 아이디어가 브로(bro)들에게 엄청나게 오용된 것도 이해를 돕지 않는다. 하지만 AI에 의한 인류 절멸은 해결책이 없는 잘 알려진 문제다. 다행히 AGI는 그리 가깝지 않다.

원문: Bluesky (skywriter.blue) / 번역·요약: Trawling