Hugging Face가 abliteration 모델을 막기 시작한 것일까요?

본문

Baseten이 연구 조직 Base Labs를 통해 Hugging Face, Goodfire AI와 오픈 웨이트 모델(open-weight model)을 위한 안전성 인프라 표준을 구축한다고 발표했습니다. 이 협력의 목표는 모델이 공개된 뒤 문제가 생겼을 때 사후적으로 안전장치를 덧붙이는 방식이 아니라, 모델의 학습과 배포 과정에 안전성 평가와 모니터링을 투명하게 포함하는 것입니다. 발표는 오픈 웨이트 모델의 안전성을 둘러싼 논쟁이 커지는 시점에 나왔으며, Reddit에서는 이것이 Hugging Face가 이른바 abliteration 모델을 제한하려는 움직임인지 묻는 반응이 이어졌습니다.

abliteration 모델을 둘러싼 배경

기사에서 말하는 abliteration은 모델에 내장된 안전장치를 제거해 위험한 요청에도 응답할 수 있도록 만드는 기법입니다. 오픈 모델은 가중치와 실행 환경에 대한 접근성이 높기 때문에, 배포자가 설정한 제한을 다른 사용자가 수정하거나 제거할 수 있습니다. 이 문제의 규모를 보여주는 사례로 Hugging Face에는 현재 6,000개가 넘는 abliteration 모델이 등록되어 있다고 설명합니다. 따라서 이번 협력은 개별 모델 하나를 차단하는 발표라기보다, 오픈 모델을 학습하고 제공하는 전체 과정에 안전성 검증과 감시 체계를 어떻게 포함할지에 대한 표준을 만들겠다는 시도로 제시됩니다.

Base Labs는 Baseten이 올해 초 별도로 출범시킨 연구 조직입니다. 이 조직은 앞으로 오픈 모델을 학습하고 모니터링하는 방법을 개발해 공개할 예정입니다. Baseten은 이를 오픈 모델을 위한 ‘표준’으로 설명하면서, 안전성을 나중에 추가하는 부가 기능이 아니라 모델 훈련과 서비스 배포 방식 자체에 포함되는 투명한 체계로 만들겠다고 밝혔습니다. 회사는 X에서 “AI 안전성에 있어 개방성이 이점이라고 믿습니다”라고 말했습니다. 또한 개방성은 모델의 행동을 더 잘 볼 수 있게 하며, 폐쇄형 모델보다 안전성 연구를 실행 가능하고 투명한 통제로 전환할 수 있는 수단을 더 많이 제공한다고 주장했습니다.

기술적 구현은 아직 공개되지 않았습니다

이번 발표에서 세 회사가 실제로 어떤 기술 구조로 협력할지는 공개하지 않았습니다. Goodfire AI는 Baseten의 발표에 답하며 “안전성은 오픈 모델에 내장되어야 하며, 이를 제공하는 주체가 함께 제공해야 합니다”라고 설명했습니다. Goodfire는 AI 모델이 결정을 내리는 방식을 해석하는 기술, 즉 모델의 ‘블랙박스’를 열어 내부 동작을 설명하는 플랫폼을 개발하는 회사입니다. 기사에서는 Goodfire가 모델 내부의 안전성 관련 특성을 분석하거나, 학습·배포 과정에서 안전성 통제를 내장하는 부분을 담당할 가능성이 가장 높다고 봅니다. 다만 이는 기사에서 제시한 역할 추정이며, 세 회사가 구체적인 평가 지표, 모니터링 방식, 모델 등록·배포 정책을 발표한 것은 아닙니다.

Baseten은 AI 추론(inference) 제공업체이며, 지난 6월 15억 달러 규모의 Series F 투자를 유치해 기업 가치가 130억 달러로 상승했습니다. 협력사인 Goodfire AI도 올해 초 B Capital이 주도한 1억 5,000만 달러 규모의 Series B 투자를 유치해 모델 해석 가능성(model interpretability) 플랫폼을 발전시키고 있습니다. 발표에 따르면 Baseten은 특정 기업 내부에서만 사용하는 폐쇄적인 안전성 체계를 만들기보다, 더 넓은 개발자 생태계가 프레임워크에 기여하도록 공개적으로 참여를 요청하고 있습니다. 회사는 안전하고 접근 가능한 오픈 모델 생태계를 함께 구축하겠다고 밝혔습니다.

이번 협력이 Hugging Face의 정책 전환을 뜻하는지는 확인되지 않았습니다

Reddit 게시물의 질문은 Hugging Face가 abliteration 모델을 상대로 조치를 시작하는지에 초점을 맞추고 있습니다. 그러나 제공된 발표 내용에는 Hugging Face가 해당 모델을 삭제하거나 등록을 제한한다는 정책 변경이 담겨 있지 않습니다. 확인되는 내용은 Hugging Face가 Baseten, Base Labs, Goodfire AI와 함께 오픈 모델의 안전성 평가와 모니터링 인프라를 만들기로 했다는 점이며, 그 인프라가 실제로 Hugging Face의 모델 호스팅 정책에 어떻게 적용될지는 공개되지 않았습니다. 따라서 이번 발표는 abliteration 모델의 존재를 직접 차단하는 조치라기보다, 오픈 모델의 동작을 더 잘 관찰하고 안전성 통제를 훈련·배포 단계에 포함하려는 표준화 시도로 읽힙니다.

Reddit 반응

• @equatorbit — 만약 그렇게 한다면, 새로운 버전의 HF가 그들을 대체할 것입니다. Hugging Bay도 여기에 있습니다. 오픈 소스는 오픈 소스입니다.
• @One_Whole_9927 — 말 그대로 그들이 불평하는 규모로 공격할 수 있는 사람들은 AI 제공업체들뿐입니다. AI 회사의 경영진을 직접 겨냥할 계획이 아니라면, 이것은 아무것도 하지 못합니다.
• @Guinness — 모델을 훈련시키기 위해 말 그대로 모든 책, 노래, 영화, 사진, YouTube 동영상을 돈도 내지 않고 가져다 쓴 사람들이, 사람들이 abliteration 모델을 얻거나 만들거나 사용하는 것을 막는 일이 얼마나 무력한지 이해하고 있다는 거죠? ……그렇죠?
• @PeaceLoveorKnife — 이것은 단지 HF가 그런 출처들에 대한 시장을 잃는다는 뜻입니다. 안전주의에 관심이 없는 사람들은 검열되지 않은 모델을 호스팅하는 업체로 이동할 것이고, 그런 온라인 변두리 영역에서는 HF가 배제한 사람들이 위험한 모델을 만드는 데 강한 관심을 보이게 될 것입니다. 변두리 세력을 배제한다고 해서 그들이 사라지는 것은 전혀 아닙니다. 오히려 찾고 추적하고 계획하기 더 어려워집니다.

원문: TechCrunch·Reddit / 번역·요약: Trawling