AI 환각이 미국과 중국의 전쟁을 일으킬 뻔했습니다

AI 요약

미군이 중국 선박을 핵무기 관련 물자 운반선으로 잘못 판단하고 군사 행동에 나설 뻔한 사건이 발생했다고 CNN이 보도했습니다. 미군 관계자와 연결된 두 소식통에 따르면, 미국은 올해 봄 중동 해역에서 해당 선박을 가로막고 병력을 투입할 준비를 했습니다. 무장 병력이 선박에 올라탈 준비를 했고 군용기도 이미 출격한 상태였습니다. 관계자들이 보고서를 다시 확인한 뒤, 보고서가 적어도 일부는 AI로 생성됐다는 사실을 발견하면서 상황이 멈췄습니다.

■ 잘못된 정보가 군사 행동으로 이어진 과정

분석가는 Special Operations Command Pacific에서 나온 선박 적하목록 정보를 이름이 공개되지 않은 챗봇에 입력하고 선박의 화물과 관련한 정보를 평가해 달라고 요청했습니다. 챗봇은 실제 근거와 맞지 않는 답변을 내놓았고, 선박이 핵무기 프로그램에 필요한 물자를 싣고 있다고 판단했습니다. 이후 분석가는 오류가 포함된 챗봇 답변을 바탕으로 정보 보고서를 작성했습니다. 해당 보고서가 군 내부에 전달되면서 선박을 둘러싼 경계 수준이 급격히 높아졌습니다.

어떤 챗봇을 사용했는지는 확인되지 않았습니다. 상용 서비스였는지 정부가 운영하는 서비스였는지도 알려지지 않았습니다. 미군의 AI 배치를 잘 아는 관계자는 정부용 챗봇이라도 상용 제품을 포크하거나 복제한 뒤 정부 정보를 추가한 형태일 가능성이 높다고 CNN에 설명했습니다. 따라서 사용 환경이 정부 전용이었는지와 별개로, 분석가가 챗봇의 오류를 검증하지 않은 채 공식 정보 보고서 작성에 활용한 과정이 문제로 남습니다.

한 소식통은 해당 정보가 완전히 틀렸으며 미국과 중국이라는 두 핵보유국 사이에 전쟁을 일으킬 뻔했다고 말했습니다. 실제로 선박에 어떤 화물이 실려 있었는지는 공개되지 않았습니다. 보도는 선박에 실제로 무엇이 있었는지보다, 잘못된 AI 답변이 군사 정보 보고서에 들어가고 병력 이동으로 이어졌다는 절차를 설명합니다.

■ 미군의 AI 도입과 검증 부담

원문은 이 사건을 미군이 AI 도입을 빠르게 확대하는 흐름 속에서 설명합니다. 당시 미군은 이란과 전쟁 중이었고, Pete Hegseth 국방장관은 1월에 AI 활용을 더 공격적으로 확대하고 관료적 장벽을 없애겠다고 발표했습니다. AI 경쟁에서 뒤처지면 중국과 다른 적대국에 주도권을 넘길 수 있다는 경고도 나왔습니다. 동시에 정보 분석가들은 보고서를 더 빠르게 배포하라는 압박을 받고 있다고 전해졌습니다.

미군은 주로 정보 분석, 군수, 표적 선정에 AI를 사용해 왔습니다. Anthropic의 Claude는 이란 전쟁 초기 공습 과정에서 사용됐으며, 이 공습에는 이란 최고지도자 Ayatollah Ali Khamenei를 사망하게 한 공격도 포함됐다고 원문은 전합니다. 반면 오래된 정보를 바탕으로 한 AI 표적 선정이 Minab의 한 학교 공습에도 영향을 줬을 가능성이 제기됐습니다. 해당 공격으로 대부분 어린이인 168명이 사망했고, 미국의 공격으로 널리 지목됐습니다. 유엔이 지원한 전문가들은 이 공격을 전쟁범죄 가능성이 있는 사례로 지적했습니다.

미군 관계자들은 중국 선박 사건이 군 내부에서 발생한 AI 환각 사례의 전부가 아니라고 CNN에 말했습니다. 이번 사례에서 드러난 위험은 챗봇이 틀린 답변을 내놓는 데 그치지 않습니다. 그 답변이 사람이 작성한 정보 보고서 형식으로 다시 가공되고, 보고서를 읽는 사람이 AI 생성 여부와 근거를 즉시 알아차리지 못한 채 작전 판단에 활용될 수 있다는 점이 문제입니다. 보고서 생성 과정에서 어떤 정보가 챗봇의 답변인지, 어떤 부분을 사람이 확인했는지 표시하는 절차가 확인되지 않았습니다.

■ Reddit 반응

• @u/kvothe5688 — 멍청한 대통령과 멍청한 국방장관이 멍청한 짓을 하면서 우리 모두를 망하게 할 것입니다.
• @u/jh937hfiu3hrhv9 — 즉각적으로 반응하는 멍청이들과 개자식들이 대량살상무기를 가지고 놀고 있습니다. 대체 뭐가 잘못될 수 있겠습니까?
• @u/MythicalJester — 네, 지구는 파괴됐습니다. 하지만 아주 아름다운 순간 동안 주주들에게 많은 가치를 만들어냈습니다.
• @u/cwm9 — 사람들이 AI 사용을 멈추지 않을 것이라는 점은 알고 있습니다. 적어도 AI가 생성했지만 사람이 인증하지 않은 모든 정보를 식별하고, 정정 표시와 비슷한 방식으로 표기하는 규칙은 필요합니다. 그래야 자료를 읽는 사람이 출처를 알 수 있습니다. 이런 평가에 AI를 전혀 의존하지 않는 편이 이상적이겠지만, 적어도 자신이 무엇을 읽는지는 알아야 합니다.
• @u/itsCthuwu — 끔찍하지만 아슬아슬하게 빗나간 사건입니다. 같은 일 때문에 숨진 이란 학교 여학생들 사건이 더 큰 이야기가 되어야 합니다.

원문: TechSpot / 번역·요약: Trawling