테크 CEO들은 왜 종말론 종교 지도자처럼 말할까요?

AI 요약

AI가 인류를 멸망시킬 수 있다고 경고하는 기업 지도자들이 정작 AI 개발과 사업으로 이익을 얻는 모습을 두고, 글은 종말론적 표현의 배경과 효과를 짚습니다. 저자는 종말의 공포가 사람들에게 익숙한 문화적 서사인 동시에 관심과 투자를 끄는 마케팅 수단이라고 설명합니다. 마지막에는 AI의 위험을 말하는 이들이 누구의 이익을 대변하는지 살펴야 한다고 제안합니다.

종말론은 익숙하고 잘 팔리는 서사입니다

Anthropic의 전 AI 연구원 Jacob Coxon은 AI를 만드는 사람들이 10년 안에 AI가 인류를 전멸시킬 수 있다고 진지하게 믿는다고 썼습니다. Anthropic의 alignment science 책임자 Evan Hubinger도 동의하면서, 자신은 향후 10년 안에 그런 일이 일어날 가능성을 10%보다 높게 본다고 밝혔습니다. 글은 이들이 종말을 경고하면서도 AI 사업을 계속하는 모순을 지적합니다. 특히 시장에서는 Anthropic의 기업공개(IPO) 시 기업가치가 2조 달러를 넘을 것이라는 기대가 나온다고 전합니다.

Concordia University의 종교·문화학 교수 Lorenzo DiTommaso는 “종말론은 팔립니다”라고 말합니다. 그는 21세기에 제작된 종말론 및 포스트아포칼립스 영화, 소설, 애니메이션, 만화, 프로그램, 게임 등의 작품을 2만 편 이상 집계했습니다. DiTommaso는 종말론이 서구 문화에 깊이 자리 잡은 서사라고 설명합니다. Pew의 2022년 조사에서는 미국인의 거의 40%가 자신이 종말의 시대에 살고 있다고 믿었습니다.

AI 종말론의 표현과 예고 시점

글은 AI 종말을 둘러싼 언어가 새로운 현상은 아니라고 살핍니다. Elon Musk는 2014년 AI를 “악마를 소환하는 일”에 비유했습니다. Anthropic의 CEO Dario Amodei는 2024년 글에 종교적 문구를 연상시키는 제목을 붙였고, OpenAI의 전 수석과학자 Ilya Sutskever는 AI가 인류 멸종으로 이어질 수 있다고 경고했습니다. 직원들은 그가 사내 행사에서 “AGI를 느껴라”라는 구호를 외치게 하고, 정렬되지 않은 AI를 상징하는 나무 인형을 태우는 행사를 열었다고 비판한 바 있습니다.

Alan Turing은 1950년 지능형 컴퓨터가 인간의 능력을 넘어 통제권을 잡을 수 있다고 경고했습니다. Ray Kurzweil은 2005년 저서에서 AI가 2029년까지 튜링 테스트를 통과할 것이라고 전망했습니다. 올해 5월 발표된 연구는 AI가 예상보다 3년 앞서 이미 테스트를 통과했다고 밝혔지만, 글은 세상이 끝나지는 않았다고 덧붙입니다. 이제 논쟁의 초점은 인간처럼 수행하고 스스로 개선하기 시작하는 인공지능 일반(AGI)으로 옮겨갔습니다. 일부는 AGI를 신과 같은 AI나 선택된 사람만 구원하는 휴거에 빗댑니다.

공포를 누가 활용하는지 따져야 합니다

종말론적 세계관은 선과 악을 뚜렷이 나누고, 누구를 위협으로 볼지 상황에 따라 달라집니다. Peter Thiel은 AI 개발을 규제하려는 이들을 적그리스도 편에 선 사람들에 빗댔습니다. DiTommaso는 AI 때문에 일자리를 잃은 사람이었다면 Thiel이 AI 자체를 적그리스도라 불렀을 것이라고 말합니다. Nvidia CEO Jensen Huang은 2030년에 세상이 끝날 가능성은 “0%”라고 주장했지만, Nvidia는 AI 붐으로 성장한 세계 최대 상장기업이라고 글은 설명합니다.

Cohere CEO Aidan Gomez는 대기업들이 대중 보호를 내세워 경쟁 규칙을 바꾸고 시장 조건을 정하려 한다고 비판했습니다. 글은 AI 위험을 경고하는 쪽과 위험을 부인하는 쪽 모두 투자와 사업에서 이해관계를 지닌다고 짚습니다. 따라서 공포를 앞세워 챗봇 접근권을 팔거나 경쟁을 억누르려는 기업 지도자들의 주장을 경계하고, 종말론적 수사 뒤에 누가 이익을 얻는지 살펴야 한다는 것이 저자의 제안입니다.

Reddit 반응

• @u/tehjoz — 이제는 실제로 종말론 종교 지도자나 다름없을 수도 있습니다. 이들은 각자 정도는 다르지만 메시아 콤플렉스가 있고, 자신들만 세상에서 살아남거나 세상을 구할 수 있다고 봅니다. 주변에서 “안 된다”고 말하는 사람이 부족해 망상에 빠진 것 같습니다. 이들의 제품과 서비스를 최대한 거부해야 할 이유가 하나 더 생겼습니다.
  • @u/NoNote7867 — AI 기업은 Rationalists, Effective Altruists, Neo-Reactionaries 같은 실제 종말론적 성격의 집단이 운영합니다. 이들은 민주주의와 교육을 무너뜨리고 CEO를 왕으로 세우려는 Dark Enlightenment 프로젝트를 추진합니다. Peter Thiel 같은 억만장자들이 자금을 댑니다.
• @u/LeCollectif — 15년 동안 기술 업계에서 일했습니다. 제가 일한 거의 모든 고위 경영진이 업계 지배를 숭고한 사명처럼 포장했습니다. 직원들에게 정서적·지적·육체적 충성을 요구하고, 겉으로라도 충성하지 않으면 해고할 만한 잘못처럼 여깁니다. 대형 AI 기업과 하이퍼스케일러가 이런 문화를 만든 건 아니지만, 이를 대중에게 제대로 보여주고 있습니다.
• @u/Slackjawed_Horror — Rationalists와 관련 집단을 주요 언론이 제대로 다뤄야 합니다. AI 종말론에 대한 보도만 쏟아내는 대신 Eliezer Yudkowsky나 Curtis Yarvin을 비판적으로 분석하면, 이들의 주장을 모르는 사람들도 이해하고 눈살을 찌푸릴 수 있습니다.
• @u/mykepagan — AI를 무서운 것으로 묘사하는 일은 좋은 마케팅입니다. 인류를 멸망시킬 수 있다면 투자자들이 관심을 보입니다. 또 선도 기업들은 수조 달러 규모의 인프라 투자를 약속했지만 모델 정확도 개선은 둔화하고 있습니다. 한 회사만 투자를 멈추면 투자자가 빠져나가니 다 같이 멈춰야 하는데 서로 믿지 못합니다. 정부가 규제로 투자에 제동을 걸면 기업들은 투자 흐름을 계속 유지할 수도 있습니다. AI 공포는 여러 방식으로 기업에 이익이 됩니다.
  • @u/Zardotab — 경고는 전직 직원과 학계에서도 나옵니다. 모든 사람에게 숨은 동기가 있다고 단순하게 설명할 수는 없습니다. 종말론을 말하는 사람 가운데 절반은 시장을 조종하려는 것 같지만, 나머지 절반은 실제로 위험한 일을 하고 있다고 의심하는 듯합니다.
• @u/Wolfsteron — 기술 분야에서 26년 일했는데, 준비되지 않은 일이 1년도 안 돼 닥칠 수 있다고 생각합니다. 종말이 온다는 말은 아닙니다. 하지만 돌아갈 수 없는 지점에 다가가고 있고, 완전히 새로운 틀이 다가오는 것 같습니다.
  • @u/Hobbet404 — Reddit에 이런 글을 쓴다는 사실만으로, 알아야 할 정보가 있다면 당신이 모를 가능성이 충분합니다. 기술 분야에서 26년 일했다는 말은 당신의 추측을 정당화하지 못합니다.
  • @u/pimpeachment — 시스템 엔지니어링, 네트워크 보안, 보안 아키텍처, 데이터베이스, DevOps 등을 25년 했고 지금은 대형 병원의 정보보안 책임자입니다. 세상을 바꾼다는 제품은 전에도 계속 나왔습니다. AI는 훌륭하고 기대되는 도구지만, 다른 도구와 마찬가지로 악용될 수 있습니다. 공황은 필요하지 않습니다. 대형 AI 기업이 새롭고 쓸모 있는 기술을 등에 업은 거품에 사람들을 끌어들여 경제를 무너뜨리고 남은 것을 차지하려는 것 같습니다.
• @u/DogsBeerYarn — 종교 집단과 기업에는 독특한 어휘, 정해진 의식과 절차, 공동의 사명과 긴급한 일정처럼 공통점이 많습니다. 특히 이 기업 지도자들은 사회에서 사실상 절대적인 힘을 누리고, 결과에 책임지거나 도전받을 위험이 없습니다. 주변에는 망상을 부추기고 늘 옳다고 말해주는 사람만 있습니다.
• @u/UndocumentedMartian — 경고를 마케팅에 활용합니다.

원문: The Globe and Mail / 번역·요약: Trawling