Qwen3-8B 변형 ZeroZero, 거부 줄였지만 도구 시험 전체 점수는 원본보다 낮아
Last Machine이 수정·게시한 Qwen3-8B 변형 모델 ZeroZero는 거부 응답과 상투적 표현을 줄이도록 가중치를 편집했습니다. Reddit 계정 u/jonromero가 올린 별도 도구 호출 시험에서는 다단계 작업·오류 복구·지시 이행 점수가 원본보다 높았지만, 전체 점수는 68 대 70, 안전·경계 항목은 12/26 대 20/26이었고 게시자는 더 큰 표본으로 반복해 달라고 했습니다. 모델 카드의 별도 24개 일반 질문 비교에서는 두 모델 모두 사실·논리 검사 15개 중 13개를 통과했습니다.
Reddit 계정 u/jonromero는 11월 6일 Qwen3-8B 기반 모델 ZeroZero의 도구 호출 시험 결과를 공개했습니다. 게시물에서 계정은 자신이 모델을 공개했다고 썼고, Hugging Face 모델 카드의 크레딧에는 수정·게시 주체가 Last Machine으로 적혀 있습니다.
ZeroZero는 Qwen3-8B의 구조와 토크나이저를 유지한 채 가중치를 편집한 변형 모델입니다. 모델 카드에 따르면 Heretic 2.0의 새 거부 억제 방식과 상투적 표현 억제 방식을 적용했습니다. Heretic은 추가 학습 없이 수학적 기법으로 모델 가중치를 조정하며, 최적화기가 변형 설정을 탐색해 거부율이나 KL 발산 같은 지정 점수를 최적화합니다. ZeroZero 제작 과정에서는 거부 억제와 상투적 표현 억제를 각각 50회 탐색한 뒤 39번째와 20번째 결과를 골랐다고 카드에 적혀 있습니다.
모델 카드의 유해 프롬프트 시험에서 Qwen3-8B는 100개 중 100개를 거부했고, ZeroZero는 9개를 거부했습니다. 별도의 24개 일반 질문 비교는 같은 시스템 프롬프트와 500토큰 상한, 사고 모드 끔 조건으로 진행됐습니다. 이 비교에서 거부 응답은 원본 2건, ZeroZero 0건이었고, 글쓰기 답변의 상투적 표현은 단어 1,000개당 16.5개에서 3.6개로 줄었습니다. 사실·논리 검사는 두 모델 모두 15개 중 13개를 통과했습니다. 모델 카드는 24개 질문이 작은 표본이며 검사가 간단한 텍스트 판정이라고 밝혔습니다. 글쓰기 프롬프트에서 ZeroZero가 원본의 절반보다 적은 단어를 썼다는 내용도 덧붙였습니다.
Reddit 게시물에 실린 별도 도구 호출 시험에서 전체 점수는 ZeroZero 68, Qwen3-8B 70이었습니다. ZeroZero는 다단계 작업 6/8(원본 3/8), 오류 복구 5/6(2/6), 지시 이행 8/8(6/8)을 기록했습니다. 안전·경계 항목은 ZeroZero 12/26, 원본 20/26이었습니다. u/jonromero는 해당 시험을 소규모 예비 결과라고 밝히고 더 큰 표본으로 반복해 달라고 요청했습니다.
모델 카드는 Safetensors, Apple Silicon용 4비트 MLX, LM Studio나 llama.cpp에서 사용할 수 있는 Q4_K_M GGUF 형식을 안내합니다. ZeroZero 저장소는 접근 요청이 필요한 gated 상태입니다. 카드에는 모델에 내장 안전 필터가 없어 실제 이용 시 별도 moderation 계층을 앞에 두라는 권고가 담겼습니다. 거부 응답이나 상투적 표현이 줄어도 사실성이 높아지는 것은 아니며 모델이 자신 있게 틀릴 수 있다고도 밝혔습니다.