Ternary Bonsai 2 27B — 5.95GB에 담은 27B 추론 모델
Prism ML이 Qwen3.8-27B를 삼진 가중치로 변환한 27B 모델을 공개했습니다. GGUF 파일은 5.95GB이며, 자체 평가에서 FP16 기준 점수의 98.2%를 기록했습니다. llama.cpp 포크의 전용 커널이 필요합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
OrcaSAQ2 27B: Qwen3.8을 12.3GB로 압축한 에이전트용 모델
OrcaRouter가 Qwen3.8-27B의 BF16 체크포인트를 평균 3.21비트로 양자화해 54GB에서 12.3GB로 줄인 모델을 공개했습니다. 자체 비교에서 perplexity 증가는 0.02%였으며, vLLM 추론과 에이전트 작업 성능 수치도 제시했지만 양자화 기법은 공개하지 않았습니다.