Bonsai 2 27B 공개 — 9배 작은 용량으로 거의 무손실 압축 달성

PrismML이 Qwen3.8 27B 기반의 삼진(ternary) 양자화 모델 Bonsai 2 27B를 공개했습니다. 가중치당 1.76비트, 총 5.9GB 용량으로 풀 정밀도 대비 9배 이상 작으면서 벤치마크 성능의 98.2%를 유지합니다. RTX 5090에서 최대 143 tok/s, Apache 2.0 라이선스로 배포됩니다.

주제: AI 하드웨어 스타트업

본문

PrismML이 27B급 멀티모달 모델을 로컬 디바이스에서 돌릴 수 있게 압축한 Bonsai 시리즈의 후속작, Ternary Bonsai 2 27B를 발표했습니다. 첫 Bonsai 27B 출시 두 달 만의 업데이트로, 이번에는 베이스 모델을 Qwen3.8 27B로 교체하면서 추론·코딩·비전·에이전트 능력을 끌어올린 것이 핵심입니다.

1.76비트 삼진 가중치, 5.9GB 풋프린트

Bonsai 2 27B는 {−1, 0, +1} 삼진 가중치에 FP16 그룹별 스케일링을 결합해 가중치당 실효 1.76비트를 달성했고, 모델 전체 용량은 5.9GB입니다. 저비트 표현이 언어 모델 전체에 엔드투엔드로 적용되며, 262K 토큰 컨텍스트와 텍스트·이미지 멀티모달 입력을 지원하고 Apache 2.0으로 공개됩니다.

성능 유지율 95% → 98.2%

추론·수학·코딩·지시 따르기·비전·에이전트 툴 사용을 아우르는 벤치마크 스위트에서 종합 83.9점으로, 풀 정밀도 Qwen3.8 27B 대비 98.2%의 성능을 유지했습니다. 이전 세대의 95%에서 격차를 크게 좁혀 사실상 '무손실' 수준에 도달했다는 것이 PrismML의 주장입니다. 특히 코딩 에이전트나 장기 태스크처럼 작은 오류가 여러 단계에 걸쳐 누적되는 영역에서 성능을 지켜낸 점을 강조하며, 다른 저비트 대안들이 코딩·비전·툴 사용 능력을 희생해 배포 가능해지는 것과 대비되는 '지능 밀도' 상의 아웃라이어라고 설명합니다.

처리량과 에너지 효율

RTX 5090에서 최대 143 tok/s, M5 Max에서 46.8 tok/s를 기록했습니다. RTX 4090 기준 토큰당 0.714 mWh로, 풀 정밀도 8B 모델보다 40% 에너지 효율이 높습니다. 코딩 어시스턴트의 편집-디버그 루프 가속, 배터리 수명 연장, 클라우드 호출 없이 상시 동작하는 로컬 어시스턴트 같은 활용을 제시합니다.

플랫폼과 의의

CUDA 기반 NVIDIA GPU와 MLX 기반 Apple 디바이스(Mac, iPhone, iPad)를 커스텀 저비트 커널로 지원하며, 가중치는 이미 공개됐습니다. PrismML은 저비트 모델이 로컬을 넘어 워크스테이션과 데이터센터의 경제성까지 바꿀 수 있다고 봅니다 — 같은 메모리에 더 큰 모델을, 같은 하드웨어로 더 많은 사용자를 서빙하고, 민감한 작업은 로컬에서 처리하며 선택적으로 클라우드로 에스컬레이션하는 하이브리드 구조입니다. 참고로 PrismML은 Caltech 연구진이 설립했고 Khosla Ventures, Cerberus, Google, Samsung의 지원을 받고 있습니다.

Hacker News 반응

@kamranjon — 16GB 그래픽카드 사용자들에게는 반가운 소식입니다. 3.8 27B는 훌륭했지만 32GB 미만에서는 돌리기 어려웠거든요. 제 16GB Intel B50에 올려볼 예정인데, 이 양자화가 XPU 코어에서 가속될지는 아직 모르겠지만 시간이 해결해 주겠죠!
@kadoban — 24GB에서도 컨텍스트 크기에 너무 까다롭지 않다면 4비트 양자화를 돌릴 수 있습니다. 다만 이게 더 나을지는 기대되지만, 저들이 말하는 크기에서 그런 성능 향상이 나온다면 정말 놀라운 일이죠. 벤치마크에 대한 자세한 정보를 보고 싶습니다.
@spijdar — 저는 20GB VRAM(RX 7900 XT)에서 Unsloth UD-Q4_K_S를 돌리는데, KV 캐시 양자화 없이 약 9만 토큰 컨텍스트가 나옵니다. 8비트 양자화를 적용하면 약 13만 4천 토큰 컨텍스트를 쓸 수 있어요. 슬롯 하나 기준이지만, 윈도우가 얼마나 찼느냐에 따라 20~35 tok/s 정도로 꽤 잘 작동합니다.
@abraxas — 로컬 모델 씬을 자세히 따라가지는 않지만 꽤 놀랍네요. Apple silicon에서도 돌릴 수 있나요?
@kamranjon — "Ternary Bonsai 2 27B는 NVIDIA GeForce RTX 5090에서 최대 143 tok/s, M5 Max에서 46.8 tok/s를 기록합니다. RTX 4090에서는 토큰당 0.714 mWh로, 풀 정밀도 8B 모델보다 40% 에너지 효율이 높습니다." (원문 인용)

원문: PrismML 블로그 / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗