AI가 만들어 낸 중국 핵무기 부품 정보가 미국의 군사 행동을 거의 촉발할 뻔했습니다

본문

CNN 보도를 인용한 Ars Technica에 따르면, 미국은 인공지능 도구의 도움으로 작성된 정보 보고서가 사실과 전혀 다른 결론을 내리면서 중국 선박에 대한 군사적 승선 작전을 거의 실행할 뻔했습니다. CNN은 이 사건을 알고 있는 4명의 관계자를 인용해, 해당 보고서가 중국 선박이 중동을 거쳐 중국의 핵무기 프로그램에 사용되는 부품을 운반하고 있다고 판단했다고 전했습니다. 보고서의 결론은 미국 특수작전사령부(U.S. Special Operations Command) 소속 분석가가 제출한 것으로 알려졌습니다.

챗봇이 화물 정보를 잘못 식별한 과정

문제의 분석가는 중국 선박의 화물 목록(manifest)에 관한 정보 보고서들을 분석하기 위해 챗봇을 사용했습니다. 이 챗봇은 정부 기관이 보유한 비밀 신호정보(secret signals intelligence)와 공개출처정보(open-source intelligence)를 결합해 분석했고, 그 결과를 정보 보고서 형태로 정리했습니다. 보고서에는 선박이 핵무기 프로그램 관련 물자를 운반하고 있다는 내용이 포함됐지만, 이후 관계자들은 챗봇이 선박에 실린 물자를 부정확하게 식별했다는 사실을 발견했습니다.

미군은 이 보고서를 바탕으로 해당 중국 선박을 가로막고 승선하는 작전을 준비했습니다. 작전에는 공중 지원도 포함될 예정이었습니다. 그러나 보고서에 사용된 챗봇의 식별 결과가 잘못됐다는 점이 확인되면서, 실제 승선과 차단은 실행되기 전에 막혔습니다. CNN에 정보를 제공한 관계자 중 한 명은 이 사건이 “거의 전쟁을 시작할 뻔했다”고 표현했습니다. 원문은 이를 단순한 문서 작성 오류가 아니라, 잘못된 AI 분석이 정보 판단과 군사 행동을 거쳐 되돌리기 어려운 상황으로 이어질 수 있었던 사례로 다룹니다.

전문 보고서에서 발생한 환각의 의미

이 사건의 핵심은 챗봇이 기존 정보에 없는 내용을 단순히 생성했다는 데만 있지 않습니다. 공개 정보와 정부 보유 비밀 정보를 함께 다루는 분석 과정에서, 모델이 선박 화물의 정체를 잘못 판단했고 그 결과가 공식적인 정보 보고서에 반영됐다는 점이 중요합니다. 보고서가 군사 작전 준비의 근거로 사용되면서, 모델의 출력이 참고용 초안과 검증된 정보 사이의 경계를 넘어선 셈입니다.

원문은 이번 사례를 업무용 보고서에서 발생한 AI 환각(hallucination) 가운데 특히 파급력이 큰 사례로 설명합니다. “환각”이라는 표현이 널리 알려진 뒤에도 비소설 작가, 기자, 학술 연구자, 판사, 의사, 경찰 조직, 기업 콜센터 등 다양한 분야에서 AI가 근거 없는 내용을 만들어 내는 문제가 반복됐다고 지적합니다. 모델에게 “환각하지 말라”고 지시하는 프롬프트가 시도됐지만, 일부 연구자들은 대규모 언어 모델(LLM)이 환각을 완전히 방지하는 일이 불가능할 수도 있다고 봅니다.

군사 시스템 도입에서 남은 검증 문제

미국 국방부(Department of Defense)는 올해 1월 “AI 가속화 전략(AI acceleration strategy)”을 내놓았습니다. 이 전략은 모든 적절한 데이터를 연합 IT 시스템(federated IT systems) 전반에서 AI가 활용할 수 있도록 만들고, 각 군과 구성 조직의 임무 시스템까지 AI 활용 범위에 포함한다는 방향을 제시했습니다. 원문은 AI를 정보 분석에 활용하는 조직이라면 모델의 한계를 알고 있어야 한다는 전제와 함께, 실제 사례에서는 그 한계를 충분히 통제하지 못했다고 지적합니다.

이번 사건은 AI를 사용했다는 사실 자체보다, AI가 생성한 결론이 어떤 검증 절차를 거쳐 정보 보고서가 되고, 다시 작전 준비의 근거로 채택됐는지를 보여주는 사례입니다. 챗봇이 공개 정보와 비밀 정보를 결합해 산출한 결과가 얼마나 신뢰할 수 있는지, 화물 식별을 사람이 독립적으로 재검증했는지, 보고서가 작전 단계로 넘어가기 전 어떤 검토가 있었는지는 원문에 구체적으로 제시되지 않습니다. 다만 알려진 경과만으로도, AI 분석 결과가 사람의 검토 없이 고위험 의사결정에 직접 연결될 때 발생할 수 있는 결과를 확인할 수 있습니다.

Reddit 반응

• @u/LongMelford — 아. 멋지네요. 워싱턴에는 가장 멋지고 똑똑한 사람들만 있다는 사실에 감사해야겠습니다.
• @u/Useful_Dot2286 — 그러니까 이제 ChatGPT를 보안 인가라도 받은 것처럼 다루고 있다는 말입니다. 전형적입니다. 솔직히 유가 시장이 이미 박살 나고 있고 다음에 무슨 일이 일어나든 비축 물자가 고갈되고 있는 상황에서, 알고리즘식 편집증이 누군가에게 되돌릴 수 없는 일을 시작하게 만드는 건 누구에게도 필요하지 않았습니다. 이런 시스템에서는 속도가 중요하다는 건 이해하지만, 미사일이 움직이기 전에 사람을 한 명이라도 개입시키면 안 되겠습니까.
• @u/pianoblook — 우리는 대필터(Great Filter)의 그물이 조여 오는 상황으로 잠결에 걸어 들어가는 것처럼 느껴집니다. 파시즘과 탐욕에 목이 졸리게 내버려 두든지, 아니면 마침내 스스로를 진지하게 받아들이는 세상으로 돌파하든지 둘 중 하나입니다.
• @u/vrxz — 군대는 약어를 좋아하니 하나 더 제안하겠습니다. PEBKAC AI는 그저 도구일 뿐이며, 모든 것을 보고 모든 것을 아는 신탁이 아닙니다. 비즈니스 세계에서 누군가 자신의 제품이나 서비스를 망쳐 놓고, 상식이 있는 사람이라면 누구나 신뢰할 수 없다는 사실을 아는 도구에 지나치게 의존한 책임을 그 도구에 떠넘기려 한다면, 그런 사람은 비웃음과 조롱을 받아 마땅하고 실제로 그렇게 됩니다. 군 지휘관이 결함 있는 AI 도구에 지나치게 의존해 아찔한 상황이나 비극적인 오류를 일으켰다면, 잘못된 판단에 따른 결과를 받아야 합니다. 강등, 보직 변경, 해임을 받아야 합니다. 만약 그 AI 도구를 전쟁부 장관(범죄)이 밀어붙였다면, 그 사람은 방향을 크게 바꾸거나 사임하거나 의회에서 탄핵되고 해임돼야 합니다. 생각해 보니 이 모든 일을 트럼프나 피트 탓으로 돌리는 것도 그만둬야 합니다. 다른 전쟁들도 시작한 사람을 인준하는 데 동조한 의회가 공범입니다. 집권당을 지지하거나 그 사람의 인준에 찬성표를 던진 모든 의원은 공범이며, 선거에서 퇴출돼야 합니다. 중간선거가 다가오고 있습니다.
• @u/Adventurous_Ease_831 — 초점을 새로운 기술 쪽으로 다시 맞추기보다, “검증되지 않은 컴퓨터 생성 결론이 어떻게 정보 처리 과정에서 그렇게 멀리까지 아무런 검토 없이 도달했는가?”라고 물어야 하지 않겠습니까.

원문: Ars Technica / 번역·요약: Trawling