Reddit 이용자 u/DominionCyber, 고객 자료 분석에 DGX Spark 8대 연결
r/LocalLLM 이용자 u/DominionCyber는 고객 자료를 제3자와 공유하지 않고 일주일 안에 분석하기 위해 DGX Spark 8대를 연결했다고 밝혔습니다. 공개한 DeepSeek-V4.1-Flash TP8 시험에서는 동시 요청 1개, Depth 0 조건에서 토큰 생성 속도 초당 72.4토큰과 첫 응답 시간 549.9ms를 기록했습니다. 그는 더 큰 모델을 담을 메모리 용량을 구성의 이유로 들었으며, 192GB 안에 들어가는 모델은 RTX Pro 6000 두 장이 더 빠를 것이라고 했습니다.
본문
r/LocalLLM 이용자 u/DominionCyber는 11월 5일 DGX Spark 8대를 연결한 시스템을 공개하며, 고객 자료를 제3자와 공유하지 않고 일주일 안에 테라바이트 규모 자료를 살펴야 했다고 설명했습니다. 그는 Claude나 OpenAI API보다 비용 효율적인지는 판단하기 어렵다며, 이런 업무 조건 때문에 장비를 내부에 구축하는 것이 사실상 유일한 선택이었다고 했습니다.
8대를 연결하는 이점은 한 시스템에 담기 어려운 모델을 실행할 수 있다는 점입니다. NVIDIA는 2026년 10월 22일 8노드 DGX Spark 클러스터 지원을 발표하면서, 한 시스템의 통합 메모리 128GB를 8대 연결 시 약 1TB로 확장할 수 있다고 설명했습니다. NVIDIA의 vLLM 안내서도 한 대에 들어가지 않는 모델이나 작업을 여러 시스템에 분산하는 방법을 소개합니다. 노드 사이의 고속 연결망은 모델 계산에 필요한 데이터를 주고받는 통신 경로입니다.
u/DominionCyber는 DeepSeek-V4.1-Flash를 8대에서 TP8 설정으로 실행했습니다. TP8은 텐서 병렬 처리 단위를 8로 설정해 모델 계산을 여러 노드에 나누는 구성입니다. 그는 속도를 시스템 구축의 주요 고려사항으로 삼지 않았다고 했습니다. 또 192GB 안에 들어가는 모델이라면 메모리 대역폭이 더 큰 RTX Pro 6000 두 장이 훨씬 빠를 것이라고 답하면서, 8대의 Spark는 약 1TB 메모리로 더 큰 모델을 실행할 수 있다고 설명했습니다.
운영 방식도 공개했습니다. 한 대를 헤드 노드, 나머지를 워커로 구성하고 노드끼리 SSH 키로 접속하게 했습니다. 반복 작업은 Ansible 플레이북으로 관리하며 대부분의 작업은 sparkrun으로 실행한다고 했습니다. NVIDIA는 관리 도구 Sync의 8노드 지원을 2026년 말까지 제공할 계획이라고 밝혔습니다. 10월 22일 업데이트된 NVIDIA vLLM 안내서에서는 Sync를 이용하는 경로가 2~4대, 수동 설정의 명령행 예제가 2대 구성으로 안내돼 있습니다.
공개된 성능표는 DeepSeek-V4.1-Flash에 기본 레시피를 적용하고 추가 튜닝을 하지 않은 결과입니다. 작성자는 가중치를 FP8, 연산을 BF16으로 설정하고 KV 캐시는 양자화하지 않았으며, 최대 문맥 길이는 1M이라고 밝혔습니다. 표의 각 설정은 동시 요청 1개로 5회 실행했습니다. Depth 0에서는 2,000토큰 프롬프트를 사용했으며, 프롬프트 처리 속도(PP)는 초당 3,739.9토큰, 토큰 생성 속도(TG)는 초당 72.4토큰이었습니다. 첫 응답까지 걸린 시간(TTFR)은 549.9ms였습니다.
표에 나온 Depth 262,144 조건에서는 PP가 초당 3,615.6토큰, TG가 초당 73.7토큰이었고 TTFR은 73,071.8ms, 약 73초였습니다. 두 조건의 토큰 생성 속도는 비슷하지만 첫 응답까지 걸린 시간은 크게 달랐습니다. 작성자가 밝힌 최대 문맥 길이는 1M이지만, 공개된 표는 Depth 262,144까지입니다. 표는 요청 1개의 추론 시험으로, 고객의 테라바이트 규모 자료를 실제로 분석하는 데 걸린 시간이나 동시 요청 처리 성능을 보여주지는 않습니다.