X 이용자 Murasan, 두 GPU PC서 Strata로 Qwen 256K 문맥 실행

X 이용자 Murasan(@murasametech)은 RTX 5070 12GB와 RTX 5060 Ti 16GB, RAM 64GB를 갖춘 PC에서 Strata v0.2.10으로 Qwen3.8-Flash-Next IQ3_S의 256K 문맥을 실행해 약 24만6천 토큰 입력에 답을 받았다고 밝혔습니다. Strata는 64K 문맥부터 KV 캐시 일부를 GPU에 남기고 나머지를 RAM에서 스트리밍합니다. Murasan은 긴 입력의 프리필 성능이 과제였다고 전했습니다.

Murasan은 128K 이상의 문맥을 쓰기에는 기존 PC의 GPU 메모리가 부족해 RTX 5060 Ti를 한 장 더 연결할 계획이었습니다. 현재 구성은 RTX 5070 12GB와 RTX 5060 Ti 16GB 두 장으로 VRAM은 합계 28GB입니다. 그는 M.2 슬롯과 OCuLink를 통해 세 번째 그래픽카드를 연결하는 방안을 검토하다가 Strata의 KV 캐시 스트리밍을 시험했고, 추가 카드 없이 기존 두 장으로 256K 문맥 설정을 실행했습니다.

Strata가 시스템 RAM을 활용하는 방식은 모델의 전문가 가중치를 GPU에 전부 올리는 대신, GPU와 CPU가 나눠 처리하는 것입니다. Strata 문서에 따르면 Qwen3.8-Flash-Next에는 2만4576개의 전문가가 있으며, 토큰 하나를 만들 때는 그중 10개만 사용합니다. GPU에는 매 토큰 처리에 필요한 구성요소와 자주 쓰이는 전문가를 둡니다. RAM에는 전체 전문가 가중치를 두고, GPU에 캐시되지 않은 전문가를 CPU가 계산하는 동안 GPU는 캐시된 전문가를 처리합니다.

긴 문맥을 다룰 때는 이전 토큰의 정보를 담는 KV 캐시도 GPU 메모리를 차지합니다. 문맥이 길어지면 캐시가 커져 모델 가중치와 함께 VRAM을 압박합니다. Strata는 64K 문맥부터 KV 캐시에서 자주 읽히는 부분만 GPU에 두고 나머지는 시스템 RAM에서 스트리밍합니다. 이 경로가 Murasan의 PC에서 GPU 메모리만으로 담기 어려웠던 256K 문맥 설정을 실행하는 데 쓰였습니다.

RAM에 KV 캐시를 두는 방식은 GPU를 추가한 경우와 같은 성능을 내지 못합니다. Murasan은 특히 긴 입력을 처음 처리하는 프리필 단계의 성능이 과제였다고 밝혔습니다. 이번 사례에서 확인되는 것은 해당 PC 구성에서 긴 문맥을 실행할 수 있었다는 점과 프리필 성능의 절충입니다.

GameGPU는 이 사례를 RTX 5060 Ti 16GB 대량 구매 흐름으로 소개했지만, 기사에서 연결한 구체적인 근거는 Murasan의 개인 실험 게시물입니다. 게시물에는 판매량이나 재고 변화가 담겨 있지 않습니다. 또 GameGPU 영어판은 문맥 크기를 128토큰 이상과 256토큰으로 표기해 K를 빠뜨렸습니다. Murasan의 게시물에는 128K 이상과 256K 문맥으로 적혀 있습니다.