12GB RTX 4070 SUPER에서 실행하는 Qwen3.8-27B 파생 KATANA: MTP 지원, 비전은 구조적으로 호환

AI 요약

RTX 3060 12GB에서 27B급 로컬 모델과 큰 컨텍스트를 함께 쓰기 위해 Reddit 작성자가 구성한 실행 환경과 사용 경험을 공유합니다. 모델은 Swift Bonsai 2 27B Katana로, Ternary Bonsai 2를 바탕으로 추론 출력을 짧게 조정한 Swift Bonsai 2에 MTP(Multi-Token Prediction) 헤드를 결합했습니다. 본문에서는 모델 파일이 약 6.4GB이며, PTQ1_0 방식으로 본체 가중치를 압축하고 MTP 헤드는 Q8_0으로 양자화했다고 설명합니다.

실행 환경과 메모리 구성

작성자는 Linux와 Prism llama.cpp 포크를 사용합니다. RTX 3060의 12GB VRAM에는 모델과 컨텍스트 캐시를 올리고, 이미지 프로젝터와 대화 기록 압축 모델 Granite 3.3 2B는 CPU에서 실행합니다. 에이전트 인터페이스는 Docker로 띄운 Hermes입니다. 게시물에 공개한 설정은 컨텍스트 128,000토큰, 대화 슬롯 1개, GPU 레이어 99개, K/V 캐시 Q4_0, MTP 초안 토큰 수 1개입니다. 추론 강도는 medium으로 설정하고 2,048토큰 추론 예산을 둡니다. 이미지 입력은 CPU에서 처리하며 IMAGE_MAX_TOKENS를 1,536으로 정했습니다.

작성자는 128K 컨텍스트를 할당한 상태에서 Bonsai 프로세스가 VRAM 9,144MiB를 사용했다고 보고합니다. 데스크톱과 다른 앱을 켠 상태에서 남은 VRAM은 약 823MiB였다고 합니다. 작성자의 계산에 따르면 주의(attention) 계층의 K/V 캐시만 약 2.2GiB를 차지합니다. Q4_0은 값 하나당 평균 0.5625바이트로, F16의 2바이트보다 캐시 메모리를 줄이는 대신 품질에 영향을 줄 수 있습니다. 비전 프로젝터는 별도로 로드하며 작성자 설정에서는 CPU에 두므로, 제목의 '전체 구성이 VRAM에 올라간다'는 설명과 실제 구성은 구분해야 합니다.

속도와 실제 사용

작성자가 제시한 단일 응답 테스트에서는 생성 속도가 대체로 43~44토큰/초였고 3초 구간 최고치는 45.74토큰/초였습니다. 일상 사용 중에는 프롬프트를 몇 차례 처리한 뒤 28~40토큰/초, 컨텍스트가 더 쌓인 뒤에는 17~25토큰/초를 관찰했다고 합니다. 컨텍스트가 125K에 이른 시점에는 17~20토큰/초였다고 댓글에서 덧붙였습니다. 작성자는 이 수치가 통제된 성능 측정이 아니라 실제 사용 중 관찰한 값이라고 명시합니다.

MTP는 모델이 다음 토큰 후보를 제안하고 본 모델이 확인해 생성을 앞당기는 방식입니다. 작성자는 초안 토큰 수 1과 2를 시험한 뒤 1을 선택했습니다. 참고로 든 RTX 3060 벤치마크는 다른 Bonsai 2 모델과 실행 환경에서 나온 결과입니다. 그 테스트에서는 Q4 K/V 캐시, 131K 컨텍스트에서 MTP 사용 시 50.1토큰/초, 미사용 시 39.8토큰/초였고, 41.8K 토큰이 채워진 경우에는 각각 26.86과 22.23토큰/초였습니다. 해당 수치를 Katana 구성에서 재현한 벤치마크로 제시하지는 않습니다.

에이전트와 이미지 처리

작성자는 Hermes로 달력 관리와 웹 검색을 하고, 오래된 음악 파일을 분류·정리해 Spotify 즐겨찾기 목록과 비교하는 작업도 수행했다고 합니다. 도구 호출이 복잡한 작업에서는 모델이 보조 스크립트를 반복해서 작성하고 수정하는 경우가 있어, SOUL.md 지침과 2,048토큰 추론 예산으로 작업을 제한합니다. 대화 압축에는 CPU에서 실행하는 Granite 3.3 2B를 쓰며, 대화 내용과 길이에 따라 압축에 1.5~5분이 걸렸다고 합니다. 이미지 처리 시간은 간단한 사진에서 약 2초, 복잡한 이미지에서 27초였고 이미지 토큰 한도를 2,048로 높이면 복잡한 이미지에서 최대 40초까지 걸렸다고 보고합니다. 이미지 이해 결과에는 한계가 있다고도 덧붙입니다.

설치 조건과 검증 범위

공유한 설정 파일은 Linux x86_64와 CUDA 13.3 호환 NVIDIA 드라이버를 전제로 합니다. 설치 스크립트가 Prism 실행 파일과 모델, 비전 프로젝터를 내려받으며 Docker, Compose, Ollama 등 일부 의존성은 사용자가 따로 설치해야 합니다. 작성자는 CachyOS를 쓰지만 운영체제가 속도에 미친 영향은 분리해 측정하지 않았습니다. 게시물의 성능과 메모리 수치는 전체 구성을 실제로 사용하며 관찰한 결과입니다. 설정 하나씩의 효과나 원본 Qwen 모델과의 정확도 차이는 비교하지 않았습니다.

Reddit 반응

• @Chips_fr_ — Bonsai 2는 RTX 3060의 VRAM에 충분히 들어가도록 만든 모델이므로 16GB 시스템 RAM은 운영체제에만 쓰일 것이라고 말합니다.
• @Chips_fr_ — 링크한 자료에서는 Q4 컨텍스트가 Q8보다 KL 차이가 크다고 지적합니다. PrismML이 Q4 캐시 품질을 개선하는 스크립트도 공개한 사실을 덧붙입니다.
• @MadlySuperMovie — 3060에서 128K 컨텍스트를 쓴 점이 인상적이라며, 여러 도구 중 하나를 골라야 할 때 Katana가 도구 호출을 잘 처리하는지 묻습니다. 추론 예산이 반복 루프를 줄이는지도 질문합니다.
  • @xalalau — 모델이 생각을 오래 하는 편이라고 답합니다. 게시물에 관리 방법을 적었고, 자신에게는 실제로 쓸 만한 수준이라고 말합니다.
• @TraceyRobn — Swift Bonsai 2의 추론 단축과 메모리 절약이 원본 Qwen 3.8 27B보다 정확도를 낮추거나 환각을 늘렸는지 비교하고 싶다고 말합니다.
  • @xalalau — 벤치마크는 원하는 사람이 진행하면 좋겠다고 답하며, 자신은 현재 결과에 만족한다고 말합니다.
• @AryanEmbered — 컨텍스트가 100K를 넘은 뒤에도 초당 20토큰 이상을 유지하는지 묻습니다.
  • @xalalau — 기억하기로는 125K 끝부분에서 초당 17~20토큰이었다고 답합니다.
• @Dabalam — 비슷한 컨텍스트에서 ninfer 포크와 DFlash 조합이 더 빨랐다고 말합니다. 다만 노트북 RTX 3080을 써서 직접 비교하기 어렵다고 덧붙입니다.
• @sonicnerd14 — 전반적으로 동의하지만 특정 코딩 작업에서는 Q4 이상으로 양자화한 27B 모델이 더 나을 수 있다고 말합니다.
• @barcode_soma — Windows에서 설정을 적용한 뒤 초당 약 70토큰을 얻었다고 후속 댓글을 남깁니다. 원 게시자는 해당 설정을 Windows로 옮기는 방법은 직접 안내하지 않고, 게시물 구성이 다른 환경에서 조정할 출발점이라고 답합니다.

원문: Reddit / 번역·요약: Trawling