Reddit

Making the most of 64 GB RAM: Qwen3.8-Flash-Next UD-IQ4_XS on an RTX 5060 Ti 16 GB

64GB RAM과 RTX 5060 Ti 16GB로 Qwen3.8-Flash-Next UD-IQ4_XS 구동하기

64GB RAM과 RTX 5060 Ti 16GB 환경에서 Strata 0.1.47로 Qwen3.8-Flash-Next Huihui v2를 구동하고 메모리 배치와 속도를 측정했습니다. 전문가 가중치 55.43GB는 RAM에 고정했으며, 32K 프리필 중앙값은 1,294.2토큰/초, 4K 입력 디코드 중앙값은 43.2토큰/초입니다.

에디터 노트

이 구성에서 확인된 성과는 55.43GB의 전문가 가중치를 RAM에 고정하면서 43.2토큰/초의 디코드 속도를 낸 점입니다. 다만 사용 가능한 RAM이 평상시 1~2GB뿐이고, 시스템 페이지 파일 사용량 2.46GB는 Strata에 귀속할 수 없습니다. 측정은 특정 시점의 스냅샷이라 장시간 실행이나 64K 컨텍스트의 메모리 여유까지 입증하지 않습니다. 댓글의 IQ3_S 권고는 더 작은 전문가가 RAM과 VRAM 캐시에 더 많이 들어간다는 설명과 연결되지만, 품질과 속도 비교 수치는 댓글 작성자의 테스트 경험입니다. 본문은 IQ3_S와 IQ4_XS를 같은 조건에서 비교하지 않았으므로 이 시스템에서 더 나은 선택인지 판단할 근거는 없습니다. 이 글의 측정값은 설정과 하드웨어가 명시된 재현 가능한 기준점이며, 양자화 선택의 비교 결과로 확대해서 읽을 수는 없습니다.

AI 요약

64GB RAM과 RTX 5060 Ti 16GB를 장착한 PC에서 Qwen3.8-Flash-Next Huihui v2 UD-IQ4_XS를 Strata 0.1.47로 구동한 메모리 배치와 성능을 정리합니다. 측정은 모델 로드 후 요청을 처리한 시점의 스냅샷이며, 최대 컨텍스트에서의 피크 사용량이나 장시간 스트레스 테스트 결과는 아닙니다.

실행 구성과 속도

시스템에서 사용 가능한 RAM 63.8GB 가운데 메인 모델의 라우팅 전문가 가중치 약 55.43GB를 물리 메모리에 고정했습니다. 전문가 영역의 일부는 CUDA 페이지 고정 메모리로 등록했고, 나머지는 Windows VirtualLock으로 잠갔습니다. 시작 로그와 Strata 소스 코드의 처리 경로를 근거로 전체 전문가 영역이 고정됐다고 판단했으며, 프로세스 메모리 페이지를 하나씩 검사한 결과는 아닙니다.

RTX 5060 Ti의 16GB VRAM 중 Strata 엔진 사용량은 스냅샷 기준 약 13.39GB였습니다. 전문가 캐시는 약 6.15GB로, 24,576개 전문가 슬롯 가운데 2,732개를 담았습니다. 이는 슬롯 수 기준 약 11.12%이며 캐시 적중률을 뜻하지 않습니다. VRAM에는 전문가 캐시 외에도 투영 가중치, MTP 계층, KV 및 런타임 데이터가 들어갑니다.

갱신된 벤치마크는 각 항목을 세 번 실행한 중앙값입니다. 입력 32,768토큰 프리필은 1,294.2토큰/초였고, 입력 4,096토큰에 출력 512토큰을 생성한 디코드는 43.2토큰/초였습니다. 코드 작업, temperature 0, thinking 비활성화 조건이며 프롬프트 캐시 적중은 없었습니다. STRATA_ROUTE_TAIL_SKIP=0으로 라우트 테일 스킵을 끈 설정도 속도와 출력에 영향을 주는 조건입니다.

RAM, VRAM, 디스크의 역할

전문가 가중치가 차지하는 55.43GB를 제외하면 사용 가능한 RAM은 약 8.37GB입니다. Windows와 드라이버, 다른 애플리케이션, Strata의 나머지 데이터가 이 공간을 나눠 씁니다. 평상시 사용 가능 RAM은 약 1~2GB였고, Strata 전체 RAM 사용량은 여러 카운터를 바탕으로 약 56.4GB로 추정했습니다. 카운터 간 메모리 중복을 페이지별로 제거하지 않았으므로 정확한 합계는 아닙니다.

메인 모델 GGUF 파일은 약 87.25GB이며, 그중 약 26.82GB인 PLE 테이블은 디스크에서 필요할 때 읽습니다. 이는 전문가 가중치가 페이지 파일로 밀려난 상황과 다릅니다. 시스템 페이지 파일 용량은 46GB였고 측정 시점의 시스템 전체 사용량은 약 2.46GB였습니다. 이 수치를 Strata의 사용량으로 돌릴 근거는 없으며, 전문가 영역은 메모리 잠금 상태라 잠금이 유지되는 동안 페이지 파일로 기록되지 않습니다.

KV 캐시를 VRAM에 두고 KV streaming을 끈 구성은 이전 설정에서 약 0.77GB의 고정 RAM을 줄이는 대신 KV 캐시가 VRAM에서 약 0.39GB를 더 차지합니다. 64K 컨텍스트 한도를 설정했지만 실제로 최대 컨텍스트 부하를 시험한 결과는 아닙니다. 이 구성은 메모리 배치와 주어진 시점의 사용량을 보여주며, 모든 데이터가 페이지 파일을 전혀 사용하지 않는다는 뜻은 아닙니다.

Reddit 반응

  • @ftlaudman — 이렇게 공들여 데이터를 모으고도 초당 토큰 처리량과 프리필 속도를 알려주지 않았네요. 제가 글에서 놓쳤다면 죄송합니다.
    • @lionethan — 메모리 사용량을 계산하는 데 집중하다 속도를 빠뜨렸습니다. 현재 설정으로 다시 측정했고, 32K 프리필은 1,294.2토큰/초, 4K 입력과 512토큰 출력 생성은 43.2토큰/초입니다. 각각 세 번 실행한 중앙값이며 프롬프트 캐시 적중은 없었습니다.
  • @Useful_Disaster_7606 — DDR5 RAM을 사용하시나요?
    • @lionethan — DDR4-3200 듀얼 채널이고 PCIe 4.0 x8입니다.
  • @YourselfInOthrsShoes — 64GB 시스템 RAM 기준으로 자원 사용량을 보면 IQ4_XS는 IQ3_S보다 나을 게 별로 없습니다. 양자화 이름의 4에 현혹되지 마세요. 둘 다 Q8 품질의 87~88%이고, 93~94% 품질로 가려면 Q4_XL이나 Blackwell 전용 NVFP4가 필요합니다.
    • @lionethan — RAM을 더 갖고 싶을 뿐입니다.
    • @YourselfInOthrsShoes — 그럼 IQ3_S 양자화를 쓰고 Q4/NVFP4는 피하세요. 저는 16GB 5060 Ti에서 NVFP4를 쓰지만 시스템 RAM이 96GB라 약 16GB가 남습니다.
  • @Gold_Coconut9777 — ISTA-DASLab의 IQ3_S를 쓰고 strata-iq3_s.json에 STRATA_HC_Q8=1과 STRATA_ROUTE_TAIL_SKIP=0을 넣어 보길 권합니다. 이 양자화는 RAM을 덜 쓰므로 전문가 데이터의 디스크 사용량도 줄고 프리필과 디코드가 빨라집니다. 제 테스트에서는 IQ3_S가 Unsloth IQ4_XS와 비슷하거나 더 좋았습니다.
    • @Cupakov — 확실히 훨씬 낫습니다. Unsloth Q6와 비교했을 때 IQ3_S가 더 좋은 결과를 냈습니다.
    • @Gold_Coconut9777 — 전문가 하나하나가 더 작아서 GPU의 핫 VRAM 캐시에 더 많이 들어가고, 전체 성능도 좋아집니다.
  • @StriderVan — 중요한 토큰/초는 빼고 전부 측정했네요.
    • @lionethan — 맞습니다. 속도 측정을 빠뜨렸습니다. Huihui v2 UD-IQ4_XS의 생성 속도는 43.2토큰/초, 프롬프트 캐시를 쓰지 않은 32K 프리필은 1,294.2토큰/초입니다. 두 값 모두 세 번 실행한 중앙값입니다.
  • @species__8472__ — Linux를 쓰면 RAM을 몇 GB 아낄 수 있지 않나요?
    • @lionethan — GUI 없이 Linux에서 실행할 수 있고, --kv-resident를 제거하면 RAM 사용량이 줄어드는 대신 VRAM 사용량이 조금 늘어납니다.
  • @JitteryWorkman — 장시간 추론 중 페이지 폴트와 디스크 읽기 지연 시간을 확인하세요. 사용 가능 RAM이 1~2GB뿐이라면 메모리 압박이 조금만 커져도 페이지 파일 트래픽이 늘고 전문가를 불러올 때 지연이 생길 수 있습니다.
  • @brainzhurtin — IQ4_XS는 IQ3_S를 쓰는 편이 낫습니다. IQ4_XS는 다운 프로젝션 전문가에서 약간 개선될 뿐이고 토큰 속도는 50% 떨어집니다.

원문: eth-lab.com / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗