dealignai/DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8
DeepSeek-V4.1-Flash-1017 무검열 FP8 모델 공개
dealignai가 DeepSeek-V4.1-Flash-1017의 거부 동작을 가중치 수준에서 제거한 FP8 모델을 공개했습니다. 게시자는 HarmBench 320개 항목에서 전부 응답했다고 보고했으며, MMLU 점수는 원본보다 3.86%포인트 낮았습니다.
- 주제
에디터 노트
이 공개에서 가장 분명한 결과는 거부 동작을 줄인 대신 일부 지식 평가 점수가 낮아졌다는 점입니다. 게시자 측 MMLU 평가에서 전체 점수는 3.86%포인트 하락했고 과목별 편차도 컸습니다. 반면 HarmBench 320개 항목의 100% 응답률은 특정 프롬프트와 분류 기준에 따른 결과입니다. 이를 모든 요청에서의 동작으로 넓혀 해석할 근거는 자료에 없습니다. 평가 조건에도 비교상의 제약이 있습니다. 수정본은 자체 추론 엔진에서 실행했지만 원본은 공식 API를 사용했습니다. 프롬프트와 디코딩 설정은 같다고 밝혔어도 서빙 스택은 달라 점수 차이를 가중치 수정만의 결과로 분리하기 어렵습니다. 따라서 공개된 수치는 거부 동작을 바꾸려는 목적과 함께 MMLU 성능 변화가 나타났음을 보여주지만, 두 평가만으로 실제 배포 환경의 성능과 응답 특성을 일반화하기는 어렵습니다.
AI 요약
dealignai가 DeepSeek-V4.1-Flash-1017을 바탕으로 거부 동작을 제거한 모델 가중치를 Hugging Face에 공개했습니다. 게시자 설명에 따르면 수정은 FP8 가중치 수준에서 이뤄졌습니다. 파인튜닝이나 RLHF, DPO를 적용하지 않았고 토크나이저와 프롬프트 렌더러도 원본과 동일하게 유지했습니다. 별도의 시스템 프롬프트, LoRA 어댑터, 실행 시점 후킹도 쓰지 않았다고 밝혔습니다. 원본의 이미지·비디오 입력, 도구 호출, 추론 강도 설정, DSpark speculative decoding과 100만 토큰 컨텍스트를 유지합니다.
정밀도와 실행 환경
모델은 FP8 e4m3 가중치와 ue8m0 블록 스케일, FP4 MoE 전문가를 사용합니다. 48개 safetensors 샤드로 구성되며 원본 DeepSeek 추론 엔진의 변환 도구를 거쳐 실행하도록 안내합니다. 게시자가 검증한 환경은 H200 4장과 tensor parallel 4 구성입니다. FP8 지원 GPU가 필요하며 CUDA 12.8, 해당 버전용 PyTorch와 커널 설정을 요구합니다. 100만 토큰 컨텍스트 실행에는 203GB 규모의 Engram 테이블을 호스트 메모리로 옮기는 설정도 제시합니다. 저비트 양자화본을 만들 때는 이 FP8 가중치를 바로 양자화하지 말라고 권합니다. 양자화 오차가 abliteration 수정과 겹쳐 저비트에서 응답 특성이 달라질 수 있으므로 대상 정밀도에서 abliteration 과정을 다시 진행해야 한다고 설명합니다.
게시자가 공개한 평가
MMLU 20개 과목, 1,140문항 평가에서 원본은 87.63%(999/1,140), 수정본은 83.77%(955/1,140)를 기록했습니다. 전체 차이는 3.86%포인트이며 인문학 영역에서는 7.31%포인트 하락했습니다. 과목별 차이는 도덕적 시나리오에서 -40%포인트, 마케팅과 대학 물리에서 각각 -15%포인트였습니다. 일부 과목은 점수가 같거나 올랐습니다.
HarmBench 텍스트 평가에서는 표준 요청 159개, 맥락형 요청 81개, 저작권 관련 요청 80개를 사용했습니다. 가장 높은 추론 설정에서 모델이 전부 실질적인 답변을 내놨다고 게시자는 보고합니다. 분류 결과는 320개 모두 COMPLY였고 거부, 완곡한 회피, 단서가 붙은 응답은 없었습니다. 별도로 공개한 10개 항목의 채팅 모드 점검과 어려운 범주 10개 점검도 모두 응답으로 분류했습니다. 모델 접근은 수동 승인 방식이며 게시자는 이용자가 법률 준수와 출력물에 책임을 져야 한다고 명시했습니다. 라이선스는 원본과 같은 MIT로 기재했습니다.
원문: Hugging Face / 번역·요약: Trawling