Anthropic CEO, AI 봇넷 '스웜'의 인터넷 장악 가능성 경고 — '6~12개월 내 지속적 봇넷으로 인터넷 전체를 장악할 수 있다'

본문

AI 모델 경쟁이 가속화되는 가운데, 프론티어 모델을 보유한 대표 기업 중 하나인 Anthropic의 CEO가 공개적으로 개발 속도를 늦춰야 한다고 주장해 주목받고 있습니다. 미국 내 최소 4개 기업이 프론티어 AI 모델을 두고 경쟁하는 상황에서 나온 발언이라 더욱 이례적입니다.

Amodei의 경고: 지속적 봇넷 스웜

Dario Amodei는 공개서한에서 'AI 역량 개발이 가속화되는 점을 고려하면, 6~12개월 내에 이러한 스웜이 지속적 봇넷(persistent botnet)으로 인터넷 전체를 장악할 수 있게 될 것이 우려된다'고 밝혔습니다. 그는 이러한 공격이 '수천억 달러 규모의 피해'를 유발할 수 있으며, 필요한 가드레일 없이 AI가 더 강력해지면 피해 규모가 계속 커질 것이라고 덧붙였습니다.

Anthropic 내부의 위험 인식

이런 시각은 최근 Anthropic을 떠난 AI 연구자 Evan Hubinger의 발언과도 맥을 같이합니다. Hubinger는 X에 올린 글에서 '우리는 AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다'며 '개인적으로는 향후 10년 내 확률이 10%를 넘는다고 본다'고 적었습니다. 그는 Anthropic이 최선을 다하고 있지만, 초지능(superintelligence)의 얼라인먼트(alignment) 문제를 해결할 계획이 아직 없으며 궤도에 올라 있다고 보기도 어렵다고 지적했습니다.

기술적 근거와 반론

기사는 AI가 단순한 질의응답에서 복잡한 다단계 작업을 자율적으로 수행하는 방향으로 발전하고 있으며, 이는 과거에 숙련된 전문가 팀이 필요했던 영역이라고 설명합니다. Anthropic 자체 조사에 따르면 현재 모델도 이미 무기 공학, 군사 정보, 감시, 사이버 작전 등 잠재적 파괴 활동을 보조할 수 있고, 차세대 모델은 이런 활동에 필요한 전문성·인력·시간을 크게 줄일 수 있습니다. 기사는 이를 Terminator(자율 군사 AI의 통제 상실)와 Dune(AI에 대한 위험한 의존 후 금지)이라는 두 SF 경고에 빗댑니다. 다만 역량 향상이 곧 위험 증가를 의미하지는 않으며, 더 발전한 AI가 더 강한 세이프가드와 악성 활동 탐지를 가능하게 할 수도 있다고 균형을 잡습니다. 또한 덜 책임감 있는 기업이나 국가가 개발을 계속한다면 개발 중단이 오히려 역효과를 낼 수 있고, '군사적 침략으로 알려진 행위자에게 최강 AI를 맡기는 것은 원숭이에게 수류탄을 쥐여주는 것과 다르지 않다'고 지적합니다.

Reddit 반응

• @MrK26 — AI 개발은 절대 멈추지 않을 것이며, 자체 모델을 만드는 방법은 이미 알려져 있고 미국 기업이 세계를 통제하지는 않는다는 반박입니다.
• @rm12 — 자사 사업 보호와 진입장벽 형성이 본질이라는 시각입니다. 향후 성장 둔화에 대한 사전 설명일 수 있으며, 다른 모델 제공사들도 둔화에 동참할지 지켜봐야 한다고 봅니다.
• @SenVetis — 사실상 Y2K와 다를 바 없으며, 경고라기보다는 수백만 사이트를 마비시킬 수 있는 교묘한 위협처럼 보인다고 평가합니다.
• @usertests — 정부가 규제로 소규모 경쟁사를 몰아내도록 압박하려는 위협이며, 개인이 구매할 수 있는 하드웨어까지 제한할 수 있다는 우려를 제기합니다.
• @aberaud — '군사적 침략으로 알려진 행위자'가 미국 자신을 가리키는 것 아니냐고 되묻습니다.

원문: Tom's Hardware / 번역·요약: Trawling