테크 CEO들의 'AI 종말론'은 이미 존재하는 해악을 가리는 수사다

본문

최근 한 주 사이에 OpenAI의 Sam Altman, Anthropic의 Dario Amodei, SpaceX의 Elon Musk를 포함한 실리콘밸리 최고경영자들이 일제히 AI 개발 속도를 늦춰야 한다는 종말론적 목소리에 동참했습니다. 이들은 자사가 개발하는 도구가 너무 빨리 강력해져 인류에 실존적 위험이 될 수 있다고 말합니다. The Intercept는 이 지점에서 근본적인 질문을 던집니다. 왜 자사 제품으로 막대한 이익을 얻는 수십억 달러 규모 기업의 CEO들이 그 기술이 위험하다는 데 동의하는가, 그리고 왜 하필 지금인가 하는 것입니다.

종말 서사가 나오는 '수상한' 타이밍

기고문은 이 경고들이 나온 시점에 주목합니다. 데이터센터 건설에 대한 대중의 대규모 반대, 교실 내 AI 사용 금지 등, 실제로 존재하는 AI의 해악과 인프라 문제에 대해 정치적 스펙트럼을 넘나드는 반대 합의가 커지고 있는 바로 그 순간이기 때문입니다. 기고문은 AI 골드러시의 수혜자와 AI 안전 투자의 수혜자가 결국 같은 사람들일 가능성이 높다고 지적합니다. Anthropic의 한 고위 직원이 프런티어 모델이 '모든 인간을 죽일' 수 있다고 경고했다는 보도가 있었지만, 이런 실존 위험 담론은 이미 알려진 해악을 다루지 않아도 되는 매우 편리한 방식이라는 것이 저자의 주장입니다. 이런 서사가 새로운 것도 아닙니다. 2023년에는 수백 명의 연구자, 주요 AI 기업 CEO, 투자자, 학자들이 'AI로 인한 멸종 위험을 줄이는 것은 팬데믹이나 핵전쟁 같은 사회 규모 위험과 함께 세계적 우선순위가 되어야 한다'는 한 문장짜리 공개서한에 서명한 바 있습니다.

구원이냐 파멸이냐 — 설명할 수 없는 AGI

이 서사에서 임계점은 AGI(artificial general intelligence), 즉 인간과 동등하거나 그 이상의 지능을 가진 시스템의 탄생입니다. 그 시점 이후에는 재귀적인 자기 개선을 거쳐 초지능 기계가 등장하고, 인간 이익과 정렬(alignment)되지 않으면 지구상의 모든 것을 종이클립으로 바꿔버릴 수 있다는 사고실험까지 등장합니다. 반대편 유토피아 서사에서는 AI가 기후 위기, 빈곤, 질병, 심지어 죽음까지 해결하는 '마법'으로 묘사됩니다. 문제는 그 경로를 아무도 설명하지 못한다는 점입니다. Bill Gates와 Eric Schmidt는 AI 처리가 이미 소비하고 있는 거대한 에너지와 물 문제를 일축했고, Schmidt는 AI가 '기후변화에 대한 우려 때문에 가로막기에는 잠재력이 너무 크다'고 말했다고 New York Times가 보도했습니다. 저자는 천문학적 자본과 에너지를 데이터센터와 AI 연구에 쏟는 사람들조차 구원으로 가는 길을 제시하지 못하며, '아래에 있는 우리는 이 힘을 이해할 수 없다'는 것 자체가 서사의 핵심 장치라고 분석합니다.

AI는 하나의 거대한 힘이 아니다

기고문은 AI를 부정하지 않습니다. AI는 이미 노동의 세계, 글로벌 인프라, 국가 폭력의 적용, 자본과 에너지 흐름에 심대한 영향을 미쳤습니다. 그러나 AI는 하나의 것이 아니라 machine learning에 기반한 방법들의 집합이며, 기본적으로는 대규모 데이터에서 통계로 패턴을 찾는 알고리즘입니다. 텍스트·이미지 생성, Spotify와 Netflix의 추천 엔진, 사기 탐지, Google Maps 같은 내비게이션까지 응용은 다양합니다. AI 슬롭, 훔친 콘텐츠, deepfake, 환각이 넘치는 동시에 machine learning으로 Alzheimer's 질병의 탐지와 치료를 혁신하는 과학자들도 있습니다. 한편 AI 시스템은 킬 리스트 생성과 그 정당화, 리벤지 포르노, 인종적 편향이 반영된 예측 치안(predictive policing) 데이터베이스에도 쓰입니다. 저자는 AGI를 목적론적 종착점으로 삼는 'AI 동화'가 이 다양한 현재와 잠재적 응용을 하나의 멈출 수 없는 힘으로 뭉뚱그려버린다고 비판합니다.

실존 위험 담론이 가리는 것

인지과학자 Hagen Blix와 machine learning 연구자 Ingeborg Glimmer는 2025년 저서 'Why We Fear AI'에서, 인류 생존이 걸린 문제라는 설정 자체가 과도한 에너지 사용, 예술가와 항만 노동자의 생계 위협, 사이버보안 취약점, 차별의 재생산과 악화, 허위정보와 deepfake, 대규모 감시 강화 같은 '지금 실제로 존재하는' AI의 해악을 쉽게 치워버리게 만든다고 썼습니다. 기고문은 이 논의를 이어가며, 먼 미래의 심판일 이야기 대신 현재 기술의 실제 역량과 한계, '지능'이라는 개념의 논쟁적 역사, 개발과 배포 방식에 대한 불확실성 같은 골치 아픈 질문들이 실리콘밸리의 '위인들'에게만 예약되어 버린 현실을 문제 삼습니다.

Reddit 반응

• @u/Wh3r3Th3WildThings — 이 모든 게 Exxon의 로비 담당자 Keith McCoy의 가짜 인터뷰 사건을 떠올리게 합니다. Exxon CEO는 공개적으로 탄소세를 지지한다고 말하면서 뒤에서는 그것에 반대하는 로비를 하고 있다고 그가 노골적으로 인정했었죠.
• @u/JoeBuskin — AI는 세계를 점령하거나 모든 인간을 죽이지는 않겠지만, 악하고 부정직한 사람들이 악하고 부정직한 일을 하는 것을 훨씬 쉽게 만들 것입니다.
• @u/Krunkledunker — 만약 그 AI가 부의 불평등과 재분배에 대해 이야기하기 시작하면 그들이 얼마나 빨리 그것을 차단할지 궁금합니다.
• @u/SeanTayla21 — 오히려 반대라고 생각합니다. 그들이 최악의 시나리오를 말하는 것이 이미 일어난 덜 나쁜 일들에 엄청난 관심을 끌고 있습니다. 이 주제를 평소에 따라가지 않던 사람들이 최근의 역사와 미래 그림을 이해하려고 'botnet'이나 'swarm' 같은 용어를 찾아보게 만들고 있으니까요.
• @u/lifeinaglasshouse — 우리는 걸으면서 껌을 씹을 수도 있습니다. AI의 중간 단계 위험을 걱정하면서 실존적 위험도 동시에 걱정하는 것은 충분히 가능합니다. 한 유형의 위험을 다룰 수 있는 조약과 규제가 다른 유형의 위험도 다룰 잠재력이 있다는 점도 있고요.

원문: The Intercept / 번역·요약: Trawling