Hacker News

Grace Blackwell needs a new scheduler: 27% more usable GPUs from the same racks

노드 비가용률 2% 모델서 16노드 단위, 18노드보다 사용 가능 용량 27% 많아…NVL72 배치

SkyPilot은 노드 비가용률이 약 2%인 NVL72 클러스터 모델에서 16노드 작업 단위와 랙당 예비 노드 2개를 적용하면 18노드 단위보다 사용 가능 용량이 27% 많다고 제시합니다. 별도 GR00T 실험에서는 랙 인지 배치로 처리량이 14.4% 늘었다고 보고했습니다.

본문

NVL72는 랙 안의 72개 GPU를 NVLink로 연결하지만, 작업이 여러 랙에 흩어지면 랙 간 통신은 InfiniBand를 거칩니다. SkyPilot은 작업을 설정 가능한 16노드 단위로 나눠 랙마다 배치하고, 고장 복구용 노드 2개를 남기는 방식을 소개합니다.

27% 수치는 128개 랙, 2,304노드 클러스터를 대상으로 한 NVIDIA 모델의 계산입니다. SkyPilot이 운영 클러스터에서 측정한 노드 비가용률 약 2%를 적용했을 때 16노드 단위는 2,037노드, 18노드 단위는 1,602노드의 사용 가능 용량을 보였습니다. 이 계산은 GR00T N1.7 사전학습에서 보고한 처리량 14.4% 향상과 별개의 결과입니다. 랙 인지 배치의 개념은 기존에도 있었으며, SkyPilot 글은 자체 스케줄러의 내부 알고리즘이나 지연 시간을 자세히 공개하지 않습니다.

참고 자료

원문 보기 ↗토론 보기 ↗