Qwen3.8-27B KV 캐시 실측: q8_0에 거의 손실 없는 저비트 설정, K는 V보다 민감하고 최근 2k 토큰 보존이 효과적
RTX 3090 한 장에서 Qwen3.8-27B를 실행하는 CUDA 엔진이 KV 캐시 저비트화와 최근 토큰 보존 효과를 측정했습니다. K 6비트, V 5비트에 최근 2,048개 위치만 8비트로 유지하면 q8_0과 비슷한 점수를 보이며, 262k 컨텍스트도 24GB GPU에 적재합니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
Spirula Studio — Vulkan·CUDA로 영상에서 3D Gaussian Splatting과 메시까지
Spirula Studio는 사진·영상에서 3D Gaussian Splatting 모델과 텍스처 메시를 만드는 데스크톱 도구입니다. Python·PyTorch나 별도 COLMAP 설치 없이 NVIDIA, AMD, Intel, Apple GPU에서 실행하며, 8GB VRAM으로 최대 1,000만 개의 SH3 Gaussian을 학습한다고 소개합니다.