펜타곤 조사관들, 팔란티어 AI 기술 과신이 이란 어린이 123명 사망한 미군 공습에 영향을 줬다고 밝혀

AI 요약

2월 이란 전쟁이 시작된 날, 이란 남부 미나브(Minab)의 샤자라 타예베(Shajarah Tayyebeh) 초등학교에 토마호크 미사일 두 발이 떨어졌습니다. 폭발로 150명 이상이 사망했고, 그중 최소 123명이 어린이였습니다. Gizmodo는 Bloomberg의 조사 보도를 바탕으로, 미군 내부 인사들이 공격 몇 시간 뒤 이미 학교를 타격했다는 사실을 파악했다고 전했습니다. 공개되지 않은 펜타곤 내부 검토를 잘 아는 관계자들은 이번 사건을 하나의 실수보다 여러 단계에서 이어진 예방 가능한 실패로 설명했습니다.

■ Maven Smart System이 처리한 오래된 표적 정보

미 중부사령부(U.S. Central Command, Centcom) 일부 인원은 Palantir가 개발한 Maven Smart System의 인공지능 기능에 지나치게 의존했다고 관계자들은 Bloomberg에 말했습니다. Maven은 정보 분석과 의사결정을 빠르게 하도록 만든 데이터 통합 및 표적 선정 플랫폼입니다. 국방부는 지난 1년 동안 이 소프트웨어를 군사 작전의 주요 도구로 활용해 왔다고 전해졌습니다. 고위 보안 인가를 가진 전직 고위 장교를 포함해 여러 전직 고위 장교가 현재 Palantir에서 일하고 있으며, 일부는 Centcom의 탬파 본부와 관련된 업무를 맡고 있습니다.

미나브의 학교 부지는 오래된 정보 때문에 이란혁명수비대(IRGC) 시설로 분류되어 있었습니다. 해당 부지를 다른 후보지와 함께 Maven에 입력하자, 시스템은 전쟁 첫날 공격할 표적으로 추천했습니다. 과거 몇 시간이 걸리던 표적 목록 작성은 몇 분으로 줄었습니다. 관계자들은 일부 사용자가 Maven이 오래된 기록이나 후보 표적 정보 사이의 모순까지 자동으로 찾아낼 것이라고 기대했다고 말했습니다. 다만 왜 그런 기능을 기대했는지는 분명하지 않습니다.

Palantir 대변인은 Bloomberg에 회사가 입력된 데이터의 정확성이나 정보 결함 식별을 책임지지 않으며, 소프트웨어에 문제가 있었다는 증거도 없다고 말했습니다. Palantir의 펜타곤 계약을 잘 아는 두 사람도 Maven에 공급되는 정보의 품질에 대한 일차 책임은 정부에 있다고 설명했습니다. 공격 뒤 Palantir는 기초 정보를 다시 검토해 표적에서 제외해야 할 요소를 찾고, 사람이 놓쳤을 수 있는 불일치와 부정확성을 표시하는 기능을 추가했습니다. 이 작업을 잘 아는 인사는 새 기능이 이미 일부 이상 징후를 발견했다고 전했습니다.

■ 오래된 위성 이미지와 연결되지 않은 분석 기록

Maven에 대한 과신은 Bloomberg가 설명한 표적화 과정의 세 가지 실패 가운데 하나였습니다. 나머지는 부정확한 정보와 오래된 위성 이미지였습니다. 미군 데이터베이스는 미나브 부지를 수년 동안 군사 시설로 기록했습니다. 하지만 상업용 위성 이미지는 다른 모습을 보여줬습니다. 인접한 기지와 학교를 분리하는 벽과 별도 출입구 공사는 2017년까지 끝난 것으로 보입니다. 2018년 이미지에는 밝게 칠한 벽, 축구장, 학생들이 모이는 줄 표시, 놀이터 표시가 보였습니다.

Bloomberg는 6월 보도에서 한 분석관이 이 변화를 이르면 2019년에 발견했고, 관련 메모를 시스템에 남겼다고 전했습니다. 하지만 메모가 입력된 시스템은 표적 선정에 쓰인 주 군사정보 데이터베이스와 연결되어 있지 않았습니다. 그래서 해당 기록은 공격 패키지를 작성한 사람들에게 전달되지 않았습니다. 이란 남부에서 확보한 인간정보도 충분하지 않았지만, 학교에는 자체 웹사이트가 있었고 Google Maps에도 표시되어 있었습니다.

그럼에도 해당 부지는 계속 IRGC 시설로 남았습니다. 트럼프 행정부가 전쟁 시작과 함께 대규모 첫 공격을 요구하면서 검증에 쓸 시간도 줄었습니다. 첫 24시간 동안 이란 표적 1,000곳 이상이 공격됐고, Bloomberg의 관계자들은 이런 작전 속도가 추가 확인에 할애할 시간을 압축했다고 말했습니다.

■ 민간인 피해 검토 인력의 축소

미 국방부 전체에서 민간인 피해를 줄이는 업무를 맡은 팀의 인원은 최근 몇 년 동안 약 90% 감소해 전체 인원이 20명도 남지 않았습니다. Centcom의 관련 조직은 10명에서 1명으로 줄었습니다. 미사일이 발사되기 전 미나브 부지를 검토한 인원은 해당 팀에 한 명도 없었습니다. 따라서 표적 데이터의 오류를 찾을 기회가 정보 데이터베이스의 연결 실패와 인력 부족으로 동시에 줄어든 셈입니다.

미 하원 민주당 의원 120명 이상은 3월 국방장관 피트 헤그세스(Pete Hegseth)에게 서한을 보내 Maven과 다른 AI 도구가 해당 부지를 식별하는 과정에서 어떤 역할을 했는지 물었습니다. 펜타곤은 조사가 진행 중이라는 이유로 공개 답변을 내놓지 않았습니다. Bloomberg에 따르면 전체 조사 보고서는 수개월 전 거의 완성됐지만, 펜타곤 대변인은 사건이 여전히 조사 중이라며 추가 언급을 거부했습니다.

■ 유엔 조사단의 판단과 미국 정부의 입장

유엔 이란 독립 국제진상조사단(Independent International Fact-Finding Mission on Iran)은 별도 조사에서 미국이 무차별 공격을 감행한 전쟁범죄를 저질렀다고 볼 합리적 근거가 있다고 밝혔습니다. 조사단은 미국이 해당 학교가 군사 목표인지 확인하기 위해 실행 가능한 모든 조치를 다해야 할 의무를 이행하지 않았다고 판단했습니다. 그 실패는 단순한 과실을 넘어섰다고도 밝혔습니다.

보고서는 미국이 학교 건물을 공격 대상으로 지정하면서 민간 시설을 타격할 상당한 위험을 알고 있었고, 그런 일이 일어날 가능성을 무모하게 받아들였다고 적었습니다. 미국 정부는 공개적으로 책임을 인정하지 않았습니다. 트럼프 대통령은 3월 기자들에게 자신이 본 자료에 따르면 공격은 이란이 했다고 생각하며, 이란의 탄약은 매우 부정확하다고 말했습니다. 최근 Fox News 인터뷰에서는 그곳에서 무슨 일이 일어났는지 누구도 말할 수 없을 것 같다고 밝혔습니다. 행정부 고위 관계자는 미국이 민간인을 표적으로 삼지 않는다고 말했고, 국방부는 유엔 보고서에 대한 논평을 거부했습니다.

■ 군사·치안 분야에서 반복되는 AI 과신

기사에서는 이번 사건을 AI가 군사와 치안 업무에 깊이 들어가면서 반복되는 오류 사례 가운데 하나로 다뤘습니다. 별도의 사건에서는 특수작전 분석관이 챗봇이 만들어낸 환각성 정보를 사용했습니다. 챗봇은 중동에 있던 중국 국적 선박이 이란으로 향하는 핵무기 부품을 싣고 있다고 잘못 판단했습니다. 미군은 선박을 검색하려고 준비했지만 마지막 순간에 철회했습니다.

치안 분야에서도 얼굴인식과 AI를 함께 사용한 결과 오인 체포가 발생했습니다. 플로리다에서는 자동 얼굴인식 결과 때문에 그 주에 가본 적도 없고 당시 직장에서 400마일 떨어진 곳에 있던 남성이 체포됐습니다. 그는 수개월 동안 수감됐고 직장과 집을 잃었습니다. 또 다른 사건에서는 범행 당시 현장에서 300마일 이상 떨어져 있던 남성이 얼굴인식 결과를 근거로 체포됐습니다. 두 사건의 기소는 결국 취하됐지만, 소프트웨어 점수에 따른 오인 체포 사례는 미국 전역에서 더 긴 목록을 이루고 있습니다.

기사의 사례들은 AI가 무엇을 분류했는지만 볼 일이 아니라, 어떤 데이터가 입력됐는지와 사람이 자동 출력의 근거를 검증했는지를 함께 확인해야 한다는 문제를 드러냅니다. 군사와 법 집행처럼 판단 결과가 생명과 자유에 직접 이어지는 분야에서는 오래된 기록, 갱신되지 않은 지도, 연결되지 않은 분석 시스템, 부족한 검토 인력이 AI 도구의 속도와 결합할 때 피해 규모가 커질 수 있습니다.

■ Reddit 반응

• @u/5553331117 — 좋습니다. 이제는 예전처럼 자기 책임을 부인하는 대신 컴퓨터를 탓하면 됩니다!
• @u/skredditt — 민간인 피해를 줄이는 일을 전담하는 사람들로 구성된 조직은 없었습니까?
• @u/one-wandering-mind — Palantir에는 효율적인 살상을 보여주는 기술 프레젠테이션이 공개되어 있습니다. 끔찍합니다. 표적을 이해하는 데 AI를 합리적으로 사용할 방법은 있을 수 있습니다. 하지만 그들의 프레젠테이션은 효율성과 시간 절약에 거의 집중했습니다. 중요한 결정을 지원하는 시스템을 만들려면, 사용자가 상황을 완전히 이해하고 있는지 확인하는 장치가 필요합니다.
• @u/JoshAllentown — 중요한 대목은 이것입니다. 일부 사용자는 Maven이 잠재적 표적 정보에 있는 오래된 기록이나 모순을 표시할 것이라고 기대했지만, 왜 그렇게 생각했는지는 분명하지 않습니다. 학교 공격의 실제 원인은 업데이트되지 않은 잘못된 지도였습니다. 사람들이 아무 이유 없이 AI가 그 사실을 찾아내고 지적할 것이라고 생각한 부분이 ‘AI에 대한 과신’입니다. Claude가 건물을 학교로 분류하는 데 실수한 일이 아닙니다. 인간이 그 건물들을 과거에 군사기지였다는 이유로 군사기지 일부로 분류했고, 아무도 지도를 업데이트하지 않았습니다. 전쟁을 시작하기 전에 지도를 업데이트해야 하는지 고민한 사람도 없었고, 인간이 AI가 자기 실수를 고칠 것이라고 결정했습니다. AI 환각이라기보다 인간의 환각에 가까웠습니다.
• @u/ShamPain413 — 그렇다면 Palantir와 헤그세스에게 최소 123건의 기소가 이뤄져야 합니다.

원문: Gizmodo / 번역·요약: Trawling