Qwen3.5-35B, Q4_K_M 512토큰 생성서 선택적 오프로딩이 레이어 분할보다 29.5% 빨라

본문

작성자는 16GB VRAM을 탑재한 RTX 4090 노트북에서 MoE 모델을 실행하며 두 가지 오프로딩 방식을 다시 비교했습니다. 전통적 레이어 분할은 모델 층을 GPU와 CPU에 나눠 배치하고, 선택적 전문가 오프로딩(--n-cpu-moe)은 일부 전문가의 가중치와 계산을 CPU로 옮깁니다.

첫 실험에서는 모델마다 양자화 수준이 달라 아키텍처와 정밀도 중 무엇이 속도 차이를 만들었는지 판단하기 어려웠습니다. 재시험에서는 다섯 모델을 모두 Q4_K_M으로 맞추고 llama.cpp 빌드와 오프로딩 설정도 바꿨습니다. 각 설정을 번갈아 세 번 실행한 뒤 중앙값을 비교했으며, 측정 전 워밍업도 진행했습니다.

가장 뚜렷한 비교는 같은 Qwen3.5-35B 체크포인트와 같은 llama.cpp 빌드로 512토큰 생성을 측정한 결과입니다. Q6_K에서는 레이어 분할이 초당 6.79토큰, 선택적 오프로딩이 6.75토큰으로 거의 같았습니다. Q4_K_M에서는 각각 6.47토큰과 8.38토큰을 기록해 선택적 오프로딩이 29.5% 빨랐습니다. 모델 크기에 맞춰 오프로딩 위치도 조정했으므로 이 차이는 양자화만의 효과로 단정할 수 없습니다. 작성자는 양자화와 메모리 배치의 조합이 성능에 영향을 준다고 설명합니다.

생성 길이도 결과를 바꿨습니다. LFM2.5-24B는 100토큰 시험에서 선택적 오프로딩이 초당 35.44토큰으로 레이어 분할의 32.96토큰보다 빨랐지만, 512토큰 시험에서는 두 방식이 각각 21.88토큰과 21.72토큰으로 거의 동률을 보였습니다. 짧은 시험에서 나타난 우위가 긴 생성에서도 이어지지는 않았습니다.

자료: dev.to / 정리·해설: Trawling