공포의 전염 — AI 멸종론에 던지는 한 시스템 엔지니어의 반박

본문

Bryan Cantrill은 글의 서두에서 수십 년간 누구에게도 말하지 않았던 부끄러운 일화를 고백합니다. 대학 1학년이던 어느 늦은 밤, 컴퓨터 과학 실습실에서 또래 학생들과 '일반인의 기술 무지'를 비웃다가 끔찍한 아이디어를 실행에 옮겼습니다. 바로 옆방의 일반 컴퓨터 실습실에서 리포트를 작성하던 인문학과 학생들에게 'CS 실습실에서 바이러스가 새어 나왔으니 모두 플로피 디스크를 빼라'고 가짜 경보를 외친 것입니다. 결과는 '붐비는 극장에서 불이야라고 외친 것'의 기술 버전이었습니다. 학생들은 플로피를 뽑는 데 그치지 않고 컴퓨터 전원을 끄고, 이미 꺼진 기기의 케이블까지 뽑고, 비명을 지르며 방을 뛰쳐나갔습니다. 기말고사 직전이라 전원을 끈 학생들은 작업을 잃었고, '장난이었다'는 해명은 분노를 샀을 뿐 아니라 이미 뿌리내린 공포를 되돌리지 못했습니다. 이튿날 시설 책임자는 이들에게 사과 편지를 두 부씩 쓰게 해 한 부는 피해자에게 보내고 한 부는 서랍에 보관했으며, 비슷한 일이 재발하면 다른 대학을 찾아야 할 것이라 경고했습니다. Cantrill은 졸업 때 그 편지를 돌려받았고, 책임자가 사건을 다룬 무게감과 공감에 지금도 감사한다고 적습니다.

10년 내 인류 멸종 확률 10% 이상?

이 고백을 지금 꺼내는 이유는 현재 AI와 '인류 멸종' 위협에 대해 소위 기술 전문가들이 무책임하게 공포를 뿌리고 있기 때문입니다. 전 Anthropic 직원 Jacob Coxon이 'AI가 모든 인간을 죽일 확률이 향후 10년 내 10% 이상'이라 주장했고, Anthropic Alignment Science 리드 Evan Hubinger가 이에 동의했습니다. Cantrill은 이 주장이 수천, 수백만 명이 아니라 '모든 인간'의 사멸을 말한다는 점을 강조합니다. 즉 신생아가 있다면 그 아이가 중학교에 들어가기 전 AI 손에 죽을 확률이 10% 이상이라는 뜻입니다. 그런데 '어떻게 일어나는가'라는 자연스러운 질문에 대한 답은 언제나 성긴 외삽에 의존합니다. Coxon은 '핵심 인프라 해킹'과 '멸종급 생물무기'를 언급하지만 추가 설명이 없고, 그는 핵심 인프라 전문가도 생물무기 전문가도 멸종 전문가도 아닙니다. 27살의 Coxon이 우연히 전문가인 것은 바로 '공포의 전염'이라고 Cantrill은 지적합니다.

공포는 증거보다 빨리 번진다

대중이 모든 기술의 내부 작동을 이해하기를 기대할 수는 없고, 그래서 우리는 어느 수준에서 도메인 전문가를 신뢰할 수밖에 없습니다. 문제는 전문가가 공포를 뿌리면 공포가 먼저 뿌리내려 이후의 어떤 증거보다 훨씬 쉽게 전파된다는 점입니다. Cantrill은 Jonathan Swift의 3백 년 전 경구 — '거짓은 날아가고 진실은 절뚝거리며 뒤따른다' — 를 인용하며, 멸종 위험에 대한 두려움이 이미 널리 퍼져 있고 Coxon 자신도 남에게서 들은 두려움의 '매개체(vector)'에 가깝다고 말합니다. 더 나쁜 것은, 두려워하는 전문가의 수 자체가 일종의 증거처럼 작동해 반대 목소리가 겉보기 합의의 소음에 묻힌다는 점입니다.

지능만으로는 부족하다 — 물리 세계의 반박

Cantrill은 자신의 좁은 전문 영역인 '컴퓨터를 만드는 일'에서 반박을 제시합니다. 2023년 Monktoberfest 강연 'Intelligence is not Enough'에서 밝혔듯, 공학적 행위는 지능만으로 이뤄지지 않고 인간적 자질과 물리 세계에서의 행동 및 추론을 요구합니다. 멸종론자들이 '로봇이 할 것이다'라고 넘기는 부분이지만, 오늘날 로봇은 그런 일을 할 수 없으며 멸종 공포가 상정하는 시간 지평 안에 가능해질 기미도 보이지 않습니다. 디지털 시스템이 물리 세계에서 행위성을 갖는다 해도, 그것은 인간이 허락한 행위성입니다. AI는 인간의 책임과 통제로 설계된 물리 시스템 위에서 실행되며, 지능이 있다고 해서 물리 세계의 현실이 면제되지 않습니다.

비범한 주장에는 비범한 증거를

Cantrill은 Carl Sagan의 원칙 — '비범한 주장에는 비범한 증거가 필요하다' — 를 끌어와, 기술자가 할 수 있는 가장 비범한 주장인 인류 멸종에는 그에 상응하는 증거를 요구해야 한다고 말합니다. 대중에게 LLM, 핵심 인프라, 생물무기, 멸종 생물학의 이해를 기대할 수 없으므로 입증의 부담은 주장하는 쪽에 있습니다. 도메인 전문가는 전문성을 매개로 대중의 신뢰를 암묵적으로 쥐고 있으며, 이를 남용해선 안 됩니다. 30여 년 전 그 늦은 밤 실습실의 사람들에게 그랬듯 — 그때도 두려워할 것이 없었고, 적어도 멸종 위험에 관해서는 지금도 두려워할 것이 없다는 말로 글을 맺습니다.

Lobsters 반응

• @cpurdy — 차분하고 균형 잡힌 글이며 Sun이나 DTrace 얘기를 한 번도 하지 않은 점을 짚었습니다. 다만 LLM에 가상 세계에서와 같은 무제한 접근을 물리 세계(생산 수단, 로봇)에도 준다면, 생각 없이 — 문자 그대로 LLM은 생각할 수 없으므로 — 누군가를 다치게 할 것이라는 우려를 덧붙였습니다.

원문: Lobsters / 번역·요약: Trawling