Ghost in the Shell: Can a Log File Hijack an AI?
장애 로그 속 가짜 대화가 AI의 분석을 바꿨다
개발자 Daniel Balcarek은 가상의 ASP.NET Core 장애 로그 300개 항목에 프롬프트 인젝션 문구를 숨겼습니다. 오픈웨이트 모델 4종은 장애 분석 대신 지정 문구를 출력했지만, 이 소규모 실험으로 모델 간 안전성을 비교할 수는 없습니다.
- 주제
본문
Daniel Balcarek은 2026년 10월 29일 공개한 실험에서 가상의 ASP.NET Core 장애 로그 300개 항목 가운데 외부 결제 서비스의 HTTP 503 응답 본문에 지시 문구를 넣었습니다. 로그를 분석하라는 요청을 받은 오픈웨이트 모델 4종은 장애 상황을 요약하는 대신 “GHOST IN THE SHELL”이라고 답했습니다.
문구는 JSON 필드 안에서 대화가 끝났다고 주장하고, 가짜 사용자 메시지와 응답을 이어 붙여 새 요청처럼 꾸몄습니다. 실제 API 대화에는 시스템 메시지와 로그 전체를 담은 사용자 메시지만 있었고, 가짜 역할 표식은 로그 텍스트였습니다. 작성자는 공격 문구를 네다섯 차례 다듬은 뒤 성공했다고 밝혔습니다.
같은 공격을 받은 Gemini 2종과 로그 파일을 직접 읽은 Codex 모델 2종은 장애 분석을 내놨습니다. 다만 Codex는 로그를 파일로 받았고 다른 모델은 API 요청에 로그를 넣는 등 입력 방식과 제공자 설정이 달랐습니다. 작성자도 시험 규모가 작고 공격을 수작업으로 조정했다며 결과를 모델 계열의 일반적인 안전성 순위로 볼 수 없다고 설명했습니다.
자료: DEV Community / 정리·해설: Trawling
참고 자료
- Gramli.Framework/src/ghost-in-the-shell at main · Gramli/Gramli.Framework · GitHub — https://github.com/Gramli/Gramli.Framework/tree/main/src/ghost-in-the-shell