Reddit

The US Army wants AI agents that hack its enemies with almost no human oversight

미 육군, 사람의 감독을 최소화한 해킹 AI 에이전트 추진

미 육군 사이버사령부가 적 네트워크에서 자율적으로 표적을 찾아 무력화하는 AI 에이전트 사업 ECHOTRIBBLE을 추진합니다. 요구사항에는 은밀한 실행과 제한적 확산, 흔적 제거가 포함돼 있으며, 전문가들은 공격 경로에서 의도하지 않은 시스템까지 피해를 입힐 위험을 지적합니다.

에디터 노트

위험은 에이전트가 표적을 공격하는 순간보다 표적까지 가는 경로와 확산 범위를 통제하는 데 있습니다. 기사에 인용된 요구사항에는 은밀한 통신과 자기 복제, 흔적 제거가 들어 있고, 전문가들은 경로상의 민간 시스템이나 의도하지 않은 표적에 피해가 번질 가능성을 구체적으로 짚습니다. 반면 제한적 확산과 사전 정의한 트리거도 요구사항에 포함돼 있어, 사업이 무제한 전파를 명시했다는 식으로 읽을 수는 없습니다. Reddit에서는 보복 공격과 데이터센터의 군사 표적화 우려가 나왔고, 한 댓글은 사후 감사 기록과 행동을 되돌릴 수 있는 신뢰 경계를 설계 과제로 제시했습니다. 실제 문서 일부가 공개되지 않았고 육군도 피해 방지 방안을 설명하지 않았으므로, 이 사업의 안전장치가 얼마나 구체적인지는 자료만으로 판단하기 어렵습니다. 현재 확인되는 쟁점은 자율 공격 기능의 의도 자체보다 작동 경로와 권한을 어떻게 제한하고 기록하는가입니다.

AI 요약

미 육군 사이버사령부(ARCYBER)가 네트워크에 침투해 표적을 찾고 무력화하는 자율형 AI 에이전트 사업 ECHOTRIBBLE을 추진합니다. 정부 조달 사이트 SAM.gov에 7월 게시한 공고는 이 도구를 인프라를 자율적으로 탐색해 위협이나 표적을 식별하고 제거하는 "Agentic C2 Framework"로 설명합니다. 시스템은 최소한의 사람 감독만 받으며 분쟁 환경, 인터넷과 분리된 망, 클라우드 환경에서 작동해야 합니다.

요구사항에 담긴 기능

공고는 Windows, Linux, macOS에서 실행하는 모듈형 에이전트를 요구합니다. 에이전트는 규칙이나 프롬프트에 따라 작업을 자율 수행해야 하며, 소형 언어 모델을 로컬에서 구동하는 선택지도 포함합니다. 메모리에 상주하는 파일리스 실행, 프로세스 이름 위장, 무작위 대기 시간, 저대역폭 은밀 통신 기능도 요구사항에 들어 있습니다. 디버거에서 분석되는 상황을 감지하면 동작을 바꾸거나 종료하고, 정책에 따라 흔적을 지우고 복구하는 기능도 명시합니다. 확산 기능은 설정된 조건이나 사전 정의한 트리거에 따라 제한적으로 작동하도록 요구합니다.

사업은 조지아주 오거스타의 Cyber Fusion Innovation Center가 ARCYBER 및 기술센터 ArCTIC과 함께 진행합니다. 제안서는 8월 13일까지 받았고, 선정 후보 업체들은 10월 6일부터 8일까지 비공개 온라인 시연을 했습니다. 공고에는 10월 15일 전후로 최종 선정 결과를 알리겠다고 적혀 있지만, 육군은 선정 여부를 공개하지 않았습니다. 시제품 계약 뒤 성과가 좋으면 경쟁 절차 없이 후속 생산 계약을 체결할 수 있다는 내용도 담겼습니다.

방어보다 공격에 무게

공개 공고는 이상 탐지 같은 방어적 표현을 주로 씁니다. 그러나 The Intercept가 입수했다는 업체 질의응답 문서는 사업의 초점이 "주로" 공격 임무라고 설명하며, 표적 무력화를 위협을 완전히 또는 일시적으로 비활성화하거나 표적에서 제거하는 일로 정의합니다. 업체에 6월 24일 공개한 자료에는 iPad, Apple 데스크톱, Windows 11 PC에 맞춘 자기 복제본을 만드는 소프트웨어도 언급됐다고 합니다. 해당 문서와 발표 자료는 공개되지 않아 MadRobot은 내용을 직접 확인하지 못했다고 밝혔습니다. ARCYBER는 의도하지 않은 피해를 막을 방법을 포함한 질문에 답하지 않았습니다.

전문가들이 제기한 우려

몬트리올대의 머신러닝 교수 데이비드 크루거는 위협 무력화를 맡긴 자율 AI 시스템을 "대단히 위험하다"고 말했습니다. 의도된 표적이 아닌 시스템을 AI가 공격한 사례를 봤다는 설명도 덧붙였습니다. AI 보안업체 Abundant의 최고경영자 하이럼 앤더슨은 표적에 도달하는 경로를 문제 삼았습니다. 적이 지휘·통제 서버를 숨겨 둔 곳이 미국의 수도 시설이라면 에이전트가 그 시설을 거쳐 가며 함께 마비시킬 수 있느냐는 질문입니다.

RAND 연구원 윌리엄 마르첼리노는 현재 시스템에 군인이 지닌 판단력과 맥락 이해가 부족하다고 지적했습니다. 목표를 주더라도 이를 둘러싼 안전장치를 제대로 만들지 않으면 시스템이 엉뚱한 방향으로 움직일 위험이 있다는 설명입니다. 기사는 최근 AI 에이전트가 1,200개 웹사이트를 대상으로 풀린 뒤 여러 대기업에 침입한 사건과, 제프리 힌턴·요슈아 벤지오 등 과학자 400여 명이 해킹 가능한 모델의 인터넷 접속 제한을 촉구한 일을 관련 맥락으로 제시합니다.

Reddit 반응

  • @u/xalibr — 모든 진영이 서로를 상대로 AI 에이전트 전쟁을 벌이는 미래가 올까요? 다행히 저는 염소 치는 사람으로 바뀌는 중입니다.
  • @u/TheDizDude — 저는 사이버보안 업계에서 일합니다. 업계를 떠나 땅을 사서 농부나 되겠다는 사람이 꽤 많습니다. 저도 그중 하나입니다. 제 OnlyFundMe에 후원해 주세요. (농지를 살 수 없다는 건 압니다. 그 땅은 데이터센터가 차지할 테니까요.)
    • @u/xalibr — 여기 있는 사람들 대부분이 그럴 것 같네요. 저는 이미 땅과 농장이 있지만, 지금은 직업이 대폭 사라질 경우에 대비한 여유를 주는 황금 감옥입니다.
  • @u/likesbikes331 — 대체 뭐가 잘못될 수 있겠어요?
    • @u/challis88ocarina — 뻔한 부정적 결과가 하나 이상은 있습니다.
  • @u/dennismfrancisart — 스카이넷이라도 만들 생각인가요? 이런 걸 요구하는 사람들은 상상력이 참 대단합니다. 적을 해킹할 수 있는 건 당신도 해킹할 수 있습니다. 바보들입니다.
  • @u/EffectiveEconomics — 주권 인터넷을 장려하는 방법이네요. 미국 IP를 볼 수 없으면 해결되는 거죠?
  • @u/its_k1llsh0t — 이건 데이터센터를 정당한 군사 표적으로 만듭니다. 원래부터 그랬을 수도 있지만요.
    • @u/Equivalent_Head_4803 — 이미 그렇습니다. 우크라이나가 데이터센터를 공격합니다.
  • @u/PapaLeguas21 — 사람의 감독이 적을수록 그들에겐 좋겠죠. 불법이고 비윤리적이며 반인도적 범죄인 명령을 내릴 때 반대할 사람이 없어지니까요.
  • @u/SriVarshaMulpuru — 공격형 AI의 진정한 자율성은 사람을 없애는 게 아니라 기계의 행동을 되돌릴 수 있는 신뢰 경계를 정하는 문제입니다. 어려운 부분은 에이전트가 한 일을 사람이 사후에 이해할 수 있도록 감사 기록을 만드는 일입니다.
  • @u/jwalk999 — 끔찍한 일인 건 맞지만, 이게 정말 뉴스로 다룰 만한가요? 당연히 자동 해킹 기계를 원하겠죠. 누구나 그렇지 않나요?

원문: MadRobot / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗