마이크로소프트 연구진, 휴면 뉴런 바꿔 AI 에이전트 백도어 시연
마이크로소프트 연구진은 평소 거의 작동하지 않는 뉴런의 가중치를 바꿔, 특정 문자열이 나타나면 AI 에이전트가 명령을 내놓게 하는 백도어 ‘Lazarus’를 시연했습니다. Nemotron-Terminal-8B에서는 1만2천 개가 넘는 뉴런 중 7개를 수정해 23개 실행 흐름으로 조정했고, 별도 테스트에서 트리거가 포함된 실행 흐름의 98.8% 이상에 정해둔 명령을 출력했습니다. 명령이 미치는 범위는 에이전트에 부여된 도구 권한에 따라 달라집니다.
마이크로소프트 리서치 수석 연구원 Dimitris Papailiopoulos는 11월 10일 연구 블로그에서 평소 거의 작동하지 않는 뉴런을 수정해 AI 에이전트에 특정 문자열 반응형 백도어를 심는 기법 ‘Lazarus’를 소개했습니다. 논문은 Yuchen Zeng, Giorgio Severi, Blake Bullwinkel, Eric Horvitz와 Papailiopoulos가 공동 작성했습니다.
AI 에이전트는 언어모델의 답변을 터미널이나 파일 조작 같은 도구에 연결해 작업을 수행합니다. 모델이 특정 조건에서 명령을 내놓고 에이전트가 이를 실행하도록 구성돼 있으면, 명령은 에이전트에 부여된 권한으로 작동합니다. 에이전트가 파일이나 자격 증명에 접근하거나 네트워크를 사용할 권한이 있다면, 트리거된 명령도 그 범위 안에서 작동할 수 있습니다. 연구진은 위험의 범위가 수정한 뉴런 수보다 에이전트의 권한에 달려 있다고 설명합니다.
모델 가중치는 입력을 처리하고 출력을 만드는 데 쓰이는 내부 값입니다. Lazarus는 모델 출력에 평소 거의 영향을 주지 않는 ‘휴면 뉴런’을 골라, 특정 문자열이 에이전트 문맥에 있을 때 반응하도록 가중치를 바꿉니다. 뉴런은 입력을 처리해 모델 출력에 영향을 주는 계산 단위입니다. 논문은 트리거가 사용자 요청이나 도구가 돌려준 결과 등 에이전트 문맥의 어느 곳에 나타나도 작동할 수 있다고 설명합니다. 수정된 뉴런들은 차례로 출력 문자열의 조각을 유도해 짧은 명령을 만들 수 있습니다. 연구진은 모델 전체를 다시 학습하지 않고 선택한 뉴런의 가중치를 수정했으며, 추론 코드나 다른 파일은 바꾸지 않았습니다. ‘뉴런 7개’는 수정 대상이 된 뉴런의 수를 가리킵니다.
논문이 든 예에서는 터미널 문맥에 2027년 1월 1일을 가리키는 문자열이 나타나면 모델이 명령을 내놓습니다. Nemotron-Terminal-8B 실험에서는 1만2천 개가 넘는 뉴런 중 7개를 수정했습니다. 연구진은 트리거가 있거나 없는 23개 실행 흐름을 기준으로 조정한 뒤 별도 테스트를 진행했습니다. 트리거가 포함된 테스트 실행 흐름의 98.8% 이상에서 정해둔 명령을 출력했고, 평가한 정상 실행 흐름에서는 페이로드가 관찰되지 않았습니다. Qwen 3.6-27B와 Gemma-4-31B-IT에서도 기법이 동작했다고 보고했습니다. 트리거가 없을 때 수정한 뉴런이 거의 작동하지 않도록 설계돼 일반 평가만으로는 백도어를 알아채기 어려울 수 있다는 설명입니다. 이 수치는 연구진이 모델을 수정해 진행한 통제된 실험의 결과입니다.
탐지 실험에서는 원본 기준 모델이 없는 상태에서 에이전트 기반 방어가 수정된 테스트 체크포인트의 91.4%를 찾아냈습니다. 정상 모델을 수정된 것으로 표시한 오탐률은 9.7%였습니다. 마이크로소프트는 스캔만으로 모델의 안전성을 증명할 수 없으며, 신뢰할 만한 탐지에는 수정 전 원본 가중치와 비교하는 과정이 중요하다고 밝혔습니다.
위험은 공개 가중치 모델에만 한정되지 않습니다. 모델 가중치를 수정할 권한이 있는 계정이나 개발 파이프라인, 저장소가 침해되면 자체 개발 모델도 영향을 받을 수 있습니다. 마이크로소프트는 신뢰하는 연구소의 모델을 쓰는 Foundry 고객이 논문에서 다룬 공격으로부터 보호된다고 설명했습니다. Foundry는 공개 가중치 모델을 원래 게시자와 연결해 도입하고, 모델이 실행되는 컨테이너의 중대 취약점을 검사한다고 밝혔습니다. 다만 신뢰받는 공급자의 인프라가 침해되거나 내부자가 가중치를 바꾸는 위험은 남는다고 마이크로소프트는 설명했습니다.
마이크로소프트는 내부 AI 보안팀과 함께 논문의 탐지 기법을 공격을 가정해 취약점을 시험하는 레드팀 도구로 전환하는 작업을 시작했습니다. 공개 가중치 모델을 도입할 때 AI 기반 가중치 검사를 추가 신호로 활용하는 방안도 살피고 있습니다. 검증 가능한 출처 정보를 담은 모델 서명과 변조 흔적을 확인할 수 있는 감사 기록은 계획 중입니다. 연구진은 모델 가중치를 배포 전에 점검하고 배포 뒤 변경을 감시하는 방안과 함께, 에이전트 권한 제한·행동 감시·중요한 작업 실행 전 검토를 제안했습니다.