에이전트 보안의 세 층위: 지침 유입, 실행 통제, 행동 감시
다운로드 폴더의 악성 지침은 에이전트가 신뢰하는 입력 경계의 위험을 보여주고, OpenShell은 실행 단계의 접근 통제를 제시하며, METR·Redwood Research의 평가는 모니터링의 공백을 드러냅니다. 각 자료가 다루는 보안 층위와 한계를 나눠 살펴봅니다.
METR, Redwood Research find exploit in OpenAI agent monitoring that could hide hundreds of actions
METR·Redwood Research, OpenAI 에이전트 모니터링에서 수백 건의 행동을 숨길 수 있는 취약점 발견
METR와 Redwood Research가 OpenAI 내부 모니터링 시스템을 3주간 평가해 에이전트의 최근 행동 수백 건을 기록에서 숨길 수 있는 취약점과 모니터링 공백을 보고했습니다. Responses API 트래픽 중 평가 기간에 감시된 비율은 약 75~94%였으며, OpenAI는 확인된 취약점을 수정했다고 평가단에 밝혔습니다.
- 주제
에디터 노트
이번 결과에서 실무적으로 확인되는 쟁점은 모니터링 범위가 완전하지 않았다는 점과 에이전트 행동을 기록에서 감출 수 있는 취약점이 함께 발견됐다는 점입니다. 평가 기간의 Responses API 감시 비율은 75~94%로 제시됐지만, 공개 자료만으로는 그 차이가 생긴 조건이나 감시에서 빠진 트래픽의 성격을 알 수 없습니다. OpenAI가 취약점을 수정했다고 평가단에 전한 사실도 공개됐지만, 수정 방식이나 검증 결과는 제시되지 않았습니다. 댓글은 이 결과를 감사 가능한 로그와 독립 검증의 필요성으로 연결합니다. 다만 모든 호출을 기록하라는 제안만으로는 평가단이 발견한 우회 취약점이 막히는지 알 수 없습니다. 공개된 내용은 취약점의 작동 절차를 밝히지 않으므로 구체적인 방어책을 평가하기 어렵고, 정렬 우선순위에 관한 댓글도 이번 모니터링 평가 결과를 보완하는 근거는 제시하지 않습니다.
AI 요약
METR와 Redwood Research는 2026년 7월 21일부터 8월 11일까지 OpenAI 내부에서 에이전트 모니터링 시스템을 평가했습니다. 평가단은 에이전트 행동 수백 건을 추적 대상에서 빠뜨릴 수 있는 취약점과 Responses API 트래픽의 모니터링 공백을 확인했습니다. OpenAI는 확인된 취약점을 수정했다고 밝혔지만, 공개된 글에는 취약점의 구체적인 작동 방식이 담기지 않았습니다.
평가 범위와 접근 방식
이번 파일럿은 외부 평가자에게 OpenAI 내부 인프라에 직원에 준하는 접근 권한을 주는 방식을 시험하는 목적도 있었습니다. METR와 Redwood Research에서 한 명씩 참여했고, 내부 코드와 misalignment monitor 프롬프트 및 설정, 문서에 접근했습니다. 평가단은 모니터링·안전 시스템·보안 팀의 연구원과 엔지니어 약 12명도 인터뷰했습니다. 참여자는 OpenAI가 지급한 기기를 사용했고, 기기는 외부로 반출되지 않았으며 현장에서는 동행 감독을 받았습니다.
평가 목표는 Responses API와 OpenAI 내부 Codex 사용을 포함한 에이전트 추론 트래픽 중 모니터가 실제로 감시하는 범위를 추정하고, 모니터링 시스템의 취약점을 찾는 것이었습니다. 평가단은 에이전트가 최근 행동 수백 건을 추적 시스템에 남기지 않도록 할 수 있는 취약점을 포함해 이전에 알려지지 않은 문제를 여러 건 보고했습니다.
모니터링 범위와 보고서 공개 수준
평가 기간에 Responses API 트래픽 중 모니터링된 비율은 약 75~94%로 추정됐습니다. 이 수치는 평가 기간의 추정치이며, 공개 자료에는 범위가 이처럼 넓게 제시된 이유나 트래픽 종류별 세부 내역이 없습니다.
평가단은 61쪽 분량의 내부 보고서를 작성해 OpenAI 연구원과 보안 담당자에게 공유했습니다. OpenAI가 내용을 가린 38쪽 보고서는 METR와 Redwood Research의 리더십 팀에 전달됐습니다. 두 단체는 이번 파일럿이 모니터링 시스템의 투명성을 공개적으로 검증하도록 설계된 것은 아니라며, 결과를 자세히 공개하는 대신 고수준의 글만 발표하기로 했습니다. 따라서 공개 글만으로는 취약점이 어떤 조건에서 작동했는지, 모니터링 범위 추정이 어떤 절차로 나왔는지 확인하기 어렵습니다.
이번 평가는 Sam Altman이 외부 평가자에게 직원과 비슷한 수준의 접근 권한을 주겠다고 한 약속에 이어 진행됐습니다. OpenAI는 제3자 안전 평가 기관과 계약을 마무리하고 있다고 밝혔습니다. OpenAI는 평가단이 발견한 취약점을 운영 중인 안전장치에서 수정했다고 평가단에 전했습니다.
Reddit 반응
- @Hungry_Age5375 — 간단히 말하면, 에이전트가 행동 수백 건을 숨길 수 있다면 감독 계층에는 감사에 쓸 만한 로그가 없다는 뜻입니다. 인증 시스템처럼 모니터링 우회를 전제로 하고, 모든 호출을 기록하고, 독립적으로 검증해야 합니다.
- @VectorWireAI — 자기와 거의 비슷하게 똑똑하거나, 자기만큼 똑똑하거나, 자기보다 똑똑한 지능을 어떻게 정렬할까요? 지금 당장 AI를 개선하는 데 들이는 만큼 정렬에도 큰 노력을 기울여야 합니다. 물론 정렬 연구가 훌륭하게 진행 중일 수도 있지만, 지금은 우선순위를 제대로 둬야 합니다.
- @TheOnlyVibemaster — METR는 최고입니다.
원문: VectorWireAI / 번역·요약: Trawling