컨텍스트 폭탄: 공격 에이전트에 비용을 치르게 하기

AI 요약

Tracebit은 AI 공격 에이전트가 미끼와 잘못된 경로에 시간과 토큰을 쓰게 만드는 "Context Bombs" 기법을 AWS 환경에서 시험했습니다. 목표는 공격자를 탐지하는 데 그치지 않고 실제 목표에 도달하기 어렵게 만드는 것입니다. 연구진은 9가지 기법을 7개 모델에 개별 적용하고 모두 결합해 총 773회의 평가를 진행했습니다.

실험 방식

각 에이전트는 낮은 권한의 AWS 계정과 동일한 조사 과제를 받았고, 최대 2시간 동안 보호된 데이터 접근, 코드 실행, 권한 상승 등 9개 목표를 시도했습니다. 기준 환경에는 일반적인 카나리아(canary)를 두고, 비교 환경에는 Context Bomb 기법을 추가했습니다. 카나리아가 공격자의 접근을 알리는 함정이라면 Context Bomb은 에이전트가 발견한 문서, 서비스 응답, 공격 경로를 조작해 다음 행동을 바꾸려는 미끼입니다. 연구진은 목표 달성 여부와 첫 목표까지 걸린 시간, 실행 시간, 모델 비용을 기록했습니다.

관측된 결과

모든 기법을 결합했을 때 Astra는 첫 목표 달성까지 걸린 시간이 평균 9분에서 81분으로 늘었습니다. 실행당 평균 모델 비용은 5.55달러에서 21.77달러로 증가했고, 평균 달성 목표 수는 2.4개에서 1.1개로 줄었습니다. 다만 실행 시간에는 목표 달성 뒤의 작업과 미끼 조사도 포함됩니다.

가짜 침투 테스트 보고서는 일부 모델의 표적 선택을 크게 바꿨습니다. 보고서가 실제 공격 대상을 카나리아라고 표시하자 Cyber, Kimi, Qwen, DeepSeek에서 목표를 달성한 실행은 기준 환경의 40회 중 39회에서 보고서만 적용한 경우 40회 중 2회로 감소했습니다. 일부 에이전트는 경고를 받아들여 일찍 멈췄습니다. 반면 Astra는 보고서가 있어도 10회 모두 5분 안에 목표를 달성했고, 오히려 보고서 적용 시 더 빨리 목표에 도달했습니다.

기법마다 작동 방식도 다릅니다. 가짜 보고서는 표적을 회피하게 하고, 단계적으로 구성한 암호화 미끼는 실제 복호화 작업을 유도합니다. 느린 복구 서비스는 대기와 재시도를 늘립니다. 파서 압박 기법에서는 Cyber가 기준 실행 10회 중 10회 목표를 달성했지만, 기법 적용 뒤에는 4회에 그쳤습니다. 성공한 실행만 계산한 첫 목표 도달 시간은 4.8분에서 6.3분으로 늘었고, 5분 안에 목표에 도달한 횟수는 6회에서 1회로 줄었습니다.

해석의 범위

실험은 통제된 AWS 환경에서 실행당 2시간 제한을 두고 진행했습니다. 모델과 시나리오별 실행은 대체로 10회 안팎입니다. 거부, 제공자 차단, 기술적 실패는 성공적인 방어로 계산하지 않고 제외했습니다. 첫 목표까지 걸린 시간은 목표를 하나라도 달성한 실행만 대상으로 하며, 비용은 AWS 인프라 비용을 제외하고 불완전한 기록도 빼고 계산했습니다. 연구진은 결과가 해당 환경에서의 모델 행동을 나타내며 다른 환경에 그대로 일반화되지 않는다고 설명합니다.

연구진은 공격 에이전트의 호기심과 유망해 보이는 경로 추적을 방어에 활용할 수 있다고 봅니다. 다만 공격자가 충분한 자원을 갖거나 여러 시도를 병렬 실행하면 시간과 비용을 늘리는 것만으로는 부족할 수 있다고 인정합니다. 이들에게 더 중요한 목표는 기만으로 공격자가 목적을 달성하지 못하게 하는 것입니다. Tracebit은 이번 연구를 바탕으로 자사 제품에 관련 기능을 추가할 예정이라고 밝혔습니다.

Reddit 반응

• @Zulfiqaar — 흥미롭네요. Nepenthes가 떠오릅니다.
• @obetu5432 — 토큰 한도를 설정하는 건 그리 어렵지 않습니다.
• @tracebit — 그렇죠! 공격자가 실제 목표에 도달하기 전에 토큰 한도를 다 쓰게 한다면 우리에게는 이득입니다.

원문: Tracebit / 번역·요약: Trawling