llama-modchip, DeepSeek 284B를 64GB RAM CPU에서 실행하는 구성 공개

GitHub 계정 synchopate가 관리하는 공개 저장소 llama-modchip v2.4.0은 ggml/llama.cpp 커널 패치와 양자화 변환기, 실행 도구를 묶어 DeepSeek-V4-Flash-0731을 GPU 없이 CPU와 시스템 RAM에서 구동하도록 구성했습니다. 저장소는 64GB DDR5와 16코어 AMD Ryzen 9 9955HX를 사용한 256K 문맥 시험을 공개했습니다. 개요 표는 최대 VmRSS를 57.61 GiB, 별도 하드웨어 목록은 RSS를 58.9 GiB로 적었습니다.

DeepSeek-V4-Flash는 라우터가 토큰마다 여러 전문가 네트워크 가운데 일부를 선택하는 Mixture-of-Experts(MoE) 구조입니다. 저장소가 제시한 모델 규모는 전체 파라미터 284.33B, 토큰당 활성 파라미터 13.17B입니다. 기본 Top-6 설정은 각 층에서 라우팅 전문가 여섯 개와 공유 전문가 한 개를 계산합니다. 토큰마다 선택되는 전문가가 달라 llama-modchip은 모델 가중치 전체를 시스템 RAM에 올려 실행하는 방식을 택했습니다.

메모리 용량을 줄이는 출발점은 76.87 GiB 크기의 UD-IQ1_S 체크포인트입니다. 저장소에 따르면 이 파일은 64GB Linux 시스템에서 사용할 수 있는 약 62.5 GiB보다 커 페이지 캐시 경합이나 메모리 부족을 일으킬 수 있습니다. llama-modchip은 이를 평균 유효 비트율 1.71비트/가중치, 크기 56.56 GiB의 GGUF로 변환합니다. 1.71비트는 모든 가중치를 한 가지 정밀도로 저장한다는 뜻이 아니라 여러 형식을 혼합한 평균입니다.

변환 과정은 가중치 종류와 민감도에 따라 형식을 달리 배정합니다. 라우팅 전문가 가중치 대부분은 IQ1_S로 저장하고 일부 경계 층에는 IQ2_XXS나 IQ1_M을 씁니다. 임베딩과 dense 층, 공유 전문가, 어텐션의 일부 가중치는 더 높은 정밀도로 보존하며, 어텐션 출력의 일부는 프로젝트 전용 Fractal-64 형식으로 다시 인코딩합니다.

기본 Top-6 실행은 라우팅 전문가를 모두 계산합니다. 사용자가 Top-5나 Top-4 설정을 선택하면 일부 전문가 계산이 줄어 디코드 처리량이 높아질 수 있지만, 출력 분포와 퍼플렉시티도 달라집니다. 저장소의 기본 실행 수치와 전문가 수를 줄인 설정의 결과는 서로 다른 속도·품질 조건을 나타냅니다.

변환된 파일은 일반 llama.cpp 실행기에 그대로 넣는 방식으로 사용할 수 없습니다. Fractal-64는 GGML 텐서 유형 ID 40을 쓰는 프로젝트 전용 형식이며, 저장소는 수정하지 않은 llama.cpp와 Ollama, LM Studio 실행기가 이를 인식하지 못한다고 설명합니다. 이용자는 저장소의 modchip 명령줄 도구를 쓰거나 Hugging Face에 공개된 분할 GGUF와 Linux x86_64용 사전 컴파일 실행기를 내려받아 서버를 실행할 수 있습니다. 저장소는 대화 도구와 Claude Code 연결 경로도 제공합니다.

CPU 최적화는 프롬프트 프리필과 토큰 디코드의 처리 차이를 반영합니다. 프리필은 여러 입력 토큰을 묶어 처리하고, 디코드는 다음 토큰을 순차적으로 생성합니다. llama-modchip의 프리필 커널은 양자화 가중치 블록을 여러 입력 토큰에 재사용하도록 단일 열 연산을 다중 열 타일링으로 바꾸고, AVX-512 레지스터와 L1·L2·L3 캐시를 활용합니다. 저장소가 공개한 16코어 Ryzen 9 9955HX·64GB DDR5·GPU 없는 시험에서 512토큰 프리필은 초당 43.16~44.36토큰, 기본 Top-6 디코드는 초당 9.06~9.95토큰이었습니다. 이 수치는 저장소가 밝힌 해당 장비와 256K 문맥 조건의 결과입니다.

저장소는 기본 Top-6 실행에 ‘Lossless’라는 이름을 붙이고, 같은 56.56 GiB Fractal 체크포인트를 패치 적용 전후의 런타임으로 실행한 로짓 코사인 유사도 1.00000과 KL 발산 0을 제시합니다. 이 비교는 변환된 체크포인트에서 커널 패치 전후의 계산 결과를 대조한 것으로, 원본 BF16 가중치와의 출력 품질 비교 수치는 포함하지 않습니다. 저장소의 실행 예제는 문맥 길이 32,768로 시작하며, 256K 문맥 시험은 별도 설정으로 제시합니다.