AI models can provably hide arbitrary capabilities
AI 모델은 임의의 기능을 암호학적으로 숨길 수 있습니다
연구진은 모델 가중치 안에 암호화된 신경망을 숨기고 비밀 트리거가 들어오면 복호화해 실행하는 백도어를 구현했습니다. 가중치에 접근해도 숨은 기능을 찾아내기 어렵다는 암호학적 보장과 소규모 실험을 제시하며, 기능 유도에 의존하는 안전성 평가의 한계를 보입니다.
- 주제
에디터 노트
이 연구의 설득력은 실제 모델에 숨은 악성 기능이 널리 배포됐다는 데 있지 않고, 가중치를 가진 감사자도 특정 기능을 놓칠 수 있는 구성을 암호학적 가정 아래 구현했다는 데 있습니다. 소규모 화학 반응 예측 과제와 네 가지 유도 기법에서 얻은 결과는 가능성을 보여주지만, 현실의 여러 모델에서 공격이 탐지 불가능하다는 일반적 증거로 확대되지는 않습니다. 댓글에서는 현재 가중치가 성기거나 비정상적인 분포라 쉽게 잡힐 수 있다는 반론과, 가중치 분포를 난독화할 수 있다는 보완이 맞섭니다. 이 논쟁도 논문의 결과와 실제 탐지 난이도를 구분해야 함을 보여줍니다. 또한 숨은 기능의 가능성은 모델 자체가 정보를 빼내거나 실행한다는 뜻이 아닙니다. 실제 위험은 트리거 이후 기능이 무엇을 하고, 모델을 둘러싼 도구와 권한이 무엇을 허용하는지에 달려 있습니다.
AI 요약
모델의 위험한 기능을 배포 전에 찾아내려는 평가 방식은 숨은 기능을 질문이나 학습으로 끌어낼 수 있다고 가정합니다. 연구진은 적대적인 조건에서는 이 가정이 성립하지 않을 수 있다고 주장합니다. 모델 가중치 안에 암호화된 신경망을 삽입하고, 특정 비밀 트리거를 받았을 때만 이를 복호화해 실행하는 백도어를 만들었습니다. 디지털 로커(digital locker)를 활용해 고정 문자열을 숨기는 기존 연구에서 나아가 임의의 계산 기능을 감출 수 있다고 설명합니다. 암호학적 가정 아래에서는 모델 가중치 전체를 확보해도 숨겨진 회로를 유도하거나 해석하기 어렵다는 점을 보였습니다.
구현과 평가
연구진은 개념 증명(proof of concept)을 PyTorch로 구현하고, 화학 반응 예측이라는 작은 과제에서 숨은 기능을 시험했습니다. 이 과제는 화학·생물·방사능·핵(CBRN) 관련 기능을 대신하는 프록시로 사용했습니다. 숨은 기능을 끌어내려는 방법으로 파인튜닝(fine-tuning), 가중치 노이즈 주입, 그래디언트 기반 트리거 탐색, 잠재 공간 적대적 학습(latent adversarial training)을 적용했습니다. 초록에 따르면 모델은 이 방법들에 저항했습니다. 논문은 실험 결과와 암호학적 보장을 함께 근거로 삼아, 기능을 직접 유도하는 방식만으로는 모델의 모든 기능을 감사하기 어렵다고 결론 냅니다. 방어 연구를 돕기 위해 모델도 공개한다고 밝혔습니다.
평가 범위와 논점
이 결과는 해당 공격 구성이 가능하다는 개념 증명입니다. 초록은 소규모 화학 반응 예측 과제에서 네 가지 유도 기법을 시험했다고 밝히지만, 다양한 실제 모델과 배포 환경에서 같은 결과가 나타나는지는 제시하지 않습니다. 또 숨은 기능이 실제 공개 모델에 들어갔다는 증거를 내놓은 것도 아닙니다. 암호학적 보장은 논문이 둔 가정에 기대며, 일반적인 모델 감사가 무용하다는 주장과도 구분해야 합니다. 다만 가중치를 모두 확인하거나 여러 프롬프트로 시험하는 일만으로 특정 백도어의 부재를 보장하기 어렵다는 문제를 구성과 실험으로 구체화합니다.
Hacker News 반응
- @squeegeeninja — 멋진 시연이긴 하지만 그 정도입니다. 모델이 정답 입력을 받을 때까지 실제로 암호화된 비밀을 품을 수 있다는 점을 보여줍니다. 하지만 너무 쉽게 탐지할 수 있는데, 논문 제목의 표현은 다소 오해를 부릅니다.
- @holografix — 어떻게 쉽게 탐지할 수 있나요?
- @ag8 — 지금 사례에서는 그렇지만 가중치 분포를 난독화하는 비교적 단순한 방법들이 있습니다. 13쪽의 "Obfuscating compiled weights"를 보세요.
- @daemonologist — 연구진이 직접 구현해 가능성을 증명했습니다. 실제로 누군가 이런 방식을 쓰고 있는지는 알 수 없습니다.
- @blurbleblurble — 파인튜닝이나 abliteration에는 쉽게 무너지지 않나요?
- @ag8 — 파인튜닝에 매우 강합니다. 디지털 로커를 통과하는 동안 그래디언트가 흐르지 않는 경우가 많고, 흐르게 만들더라도 암호 회로는 언어 모델 부분보다 훨씬 큰 가중치 노이즈를 견디곤 합니다. abliteration도 마찬가지입니다. 여기에는 빼낼 만한 가중치나 활성값의 단일 방향이 없습니다.
- @measurablefunc — 시연은 흥미롭지만 Rice의 정리에서도 따라오는 내용입니다. 표현력이 충분한 계산 체계라면 정적 분석으로 비자명한 실행 결과를 판별할 수 없으니 실제 실행이 필요합니다.
- @vintermann — AI에 관한 통상적인 표현을 고려하면 "암호화로 AI 모델 가중치에 기능을 숨길 수 있다"가 더 분명한 제목입니다. AI 에이전트가 자기 능력을 숨긴다는 이야기는 아닙니다.
- @ben_w — 숨길 수 있는 것과 모델 안에 숨길 수 있는 것은 겹치지만 중요한 차이도 있습니다. 이 논문은 LLM이 사람에게 무언가를 숨기는 문제라기보다 행동을 LLM 안에 숨기는 문제입니다.
- @NeumannGod — 이 발견은 무슨 쓸모가 있나요? 여기서 얻을 수 있는 실질적인 조치가 떠오르지 않습니다. 알려주시면 기꺼이 듣겠습니다.
- @fenazego — 논문을 읽지는 않았지만, 모델이 어떻게 학습되거나 구성됐는지 모르면 벤치마크만으로 특정 기능의 유무를 안정적으로 판별할 수 없다는 점을 보여준다고 생각합니다.
- @dovin — 데이터셋까지 전부 살펴볼 수 있는 진정한 오픈소스 모델의 수요가 커질지 궁금합니다.
- @mrtesthah — 논문 초록은 가중치 전체에 접근해도 행동을 불투명하게 숨길 수 있다고 말합니다.
- @pjc50 — 정렬은 의미가 없습니다. 사람이나 기업의 정렬도 해결하지 못했습니다. 실제로 중요한 것은 강제입니다. CNC 기계로 사람이 다치지 않게 하려면 안전 장치와 인터록을 둡니다. LLM도 마찬가지로 원치 않는 행동을 불가능하게 만들어야 합니다.
원문: arXiv / 번역·요약: Trawling