Full DeepSeek-V4.1-Flash-1017 (510 GB, original weights) on a 64 GB RAM + RTX 3060 12 GB PC: up to 7.4 tok/s, 98.3% agreement with the full model. Engine released (Apache-2.0)
원본 가중치 510GB DeepSeek-V4.1-Flash-1017을 64GB RAM·RTX 3060 12GB PC에서 실행: 최대 7.4토큰/초, 엔진 공개
PROMETHEVS는 2비트 전문가 가중치로 출력을 초안 생성한 뒤 불확실한 토큰만 원본 FP4 가중치로 다시 계산하는 추론 엔진입니다. 개발자는 RTX 3060 PC에서 최대 7.4토큰/초와 원본 경로 대비 98.3% 일치율을 보고했지만, 측정은 한 대의 PC와 제한된 프롬프트에 그칩니다.
- 주제
에디터 노트
가장 강한 수치는 캐시가 남은 코드 프롬프트에서 나온 7.4토큰/초이며, 이를 일반적인 대화 속도로 읽으면 안 됩니다. 제작자도 다른 프롬프트에서는 속도가 두 실행의 중간에 놓일 수 있다고 설명하고, 추론과 에이전트 프롬프트의 재실행은 4.4와 4.8토큰/초로 더 낮았습니다. 일치율도 기준을 나눠 봐야 합니다. 960단어에서 모든 차이를 포함한 값은 98.33%지만, 긴 1,101토큰 프롬프트에서는 전체 차이 기준으로 95.91%였습니다. 비교 대상이 DeepSeek 참조 구현이 아닌 제작자 자체 원본 경로이고 다른 장비에서 재현하지 않았다는 조건까지 고려하면, 현재 결과는 대형 모델의 로컬 실행 가능성을 보이는 초기 단일 장비 측정으로 읽는 편이 정확합니다.
AI 요약
PROMETHEVS는 510GB 규모 DeepSeek-V4.1-Flash-1017의 원본 가중치를 64GB RAM과 RTX 3060 12GB를 탑재한 PC에서 실행하는 추론 엔진입니다. 용량을 줄인 사본만 실행하는 대신 대부분의 토큰은 2비트 전문가 가중치로 계산하고, 모델이 답을 망설이는 토큰은 원본 가중치로 다시 계산합니다. 제작자는 이 방식을 compress-then-correct라고 부릅니다.
압축 후 불확실한 토큰 보정
모델은 매 토큰마다 2비트 사본으로 초안을 냅니다. 상위 두 후보의 점수 차이가 설정값 0.45보다 작으면 해당 토큰을 보정 대상으로 표시합니다. 저장해 둔 correction plane으로 전문가 가중치를 원본 FP4 형태로 복원해 그 토큰을 다시 계산합니다. DeepSeek이 제공하는 draft head는 여러 토큰을 한꺼번에 제안하고, 엔진은 이를 병렬로 검사합니다. 자주 쓰는 전문가는 GPU 메모리에 두고 나머지는 RAM과 NVMe 드라이브에서 불러옵니다.
공개된 성능과 일치율
개발자의 측정 장비는 Ryzen 9 3950X, RAM 64GB, RTX 3060 12GB, NVMe 드라이브 2개를 탑재한 Windows 11 PC입니다. 코드 프롬프트의 처리량은 캐시가 비어 있는 상태에서 4.98~5.95토큰/초, 같은 프롬프트로 캐시를 유지한 두 번째 실행에서 7.34~7.40토큰/초였습니다. 추론 프롬프트는 처음 실행에서 4.7, 재실행에서 4.4토큰/초였고, 에이전트 프롬프트는 각각 5.2와 4.8토큰/초였습니다. 같은 PC에서 원본 경로로 정확히 디코딩한 코드는 2.14토큰/초였습니다. 7.4토큰/초는 코드 프롬프트의 캐시 재사용 결과이며, 실제로 다른 프롬프트를 이어 보내면 첫 실행과 두 번째 실행 사이의 속도가 나올 수 있다고 설명합니다.
960개 단어를 원본 경로와 비교했을 때 모든 차이를 세면 일치율은 98.33%였습니다. 모델이 확신해 원본 재계산을 건너뛴 단어만 세는 별도 지표에서는 99.17%였고, 보정 전 2비트 사본은 97.40%였습니다. 1,101토큰 프롬프트의 전체 차이 기준 일치율은 95.91%였으며, 4,288토큰 프롬프트에서는 100%였습니다. GSM8K 10문제 중 9문제를 풀었습니다. 개발자는 1,101토큰 프롬프트의 보정 문턱을 0.30으로 낮추면 일치율이 96.21%로 떨어졌다고도 밝혔습니다.
설치와 재현 조건
Windows 10 또는 11, AVX2를 지원하는 x86-64 CPU, RAM 64GB, RTX 30 또는 40 시리즈 GPU 중 VRAM 12GB 모델, 드라이버 580 이상이 필요합니다. NVMe 저장 공간은 약 1.1TB가 필요하며 DeepSeek 원본 가중치 약 510GB를 내려받아야 합니다. 제작자 장비에서는 저장소 생성에 다운로드 이후 약 4시간이 걸렸습니다. 설치 도구는 가중치를 내려받고 공개 해시와 대조한 뒤 필요한 저장 형식을 직접 생성합니다. 엔진은 Apache-2.0으로 공개됐고, 보고서와 로그는 CC BY 4.0 라이선스입니다. OpenAI 호환 API를 localhost의 8100 포트에서 제공하며 한 번에 하나의 요청을 처리합니다.
측정 범위와 제한
모든 성능 수치는 한 대의 PC에서 얻었고, 추가 장비에서 설치와 재현을 마치지 않았습니다. 비교 기준은 DeepSeek의 참조 구현이 아니라 제작자가 만든 원본 경로이며, 개발자는 두 구현을 나란히 비교하지 않았다고 명시합니다. 1,163토큰 프롬프트는 첫 토큰이 나오기까지 약 126초가 걸렸습니다. 긴 입력에서는 가중치 읽기가 첫 토큰 지연의 주요 요인입니다. 도구 호출 결과와 thinking mode의 템플릿 검증도 아직 포함되지 않았습니다. 제작자는 공개한 모든 실행 로그와 측정 결과를 저장소에 제공하며, 다른 사용자 장비에서 얻은 결과를 추가로 수집하고 있습니다.
원문: GitHub 저장소 PROMETHEVS / 요약: Trawling