GPU 스타트업이 단 하나의 주장도 하기 전에 일본·루마니아·캐나다에서 직접 검증하게 했습니다

AI 요약

GPU 클라우드 스타트업 Kilowatt Cloud는 고객에게 용량을 약속하기 전에 자사의 주장을 실제 환경에서 검증하는 테스트를 진행했습니다. 계기는 가격 계산기였습니다. 계산기에는 사용자가 최대 512개의 GPU를 선택할 수 있었지만, 운영자는 8개를 넘어서는 규모를 실제로 제공할 수 있는지 확신하지 못했습니다. 계산기에 표시되는 최대치와 실제 공급 능력 사이에 차이가 있을 수 있다는 점을 확인한 뒤, 다른 작업을 멈추고 해당 수치를 직접 시험하기로 했습니다.

■ 시뮬레이션이 아닌 실물 GPU로 검증

테스트는 시뮬레이션이나 작동할 것이라는 예상에 의존하지 않고 실제 GPU를 임대하는 방식으로 진행했습니다. 두 개의 클라우드 제공업체에서 실물 GPU를 확보한 뒤 동시 부하 테스트를 실행했고, 일본·루마니아·캐나다에서 대규모 배포 세 건을 동시에 시작해 실제 장비에서 계속 유지되는지 확인했습니다. 이 방식은 단순히 한 번의 요청이 성공하는지 보는 테스트가 아니라, 여러 지역에서 여러 대규모 배포가 겹치는 상황에서도 서비스가 요청을 처리할 수 있는지를 확인하는 절차였습니다.

테스트 결과 제공업체별 제약이 분명하게 드러났습니다. RunPod에서는 사용자가 얼마를 지불하더라도 하나의 pod에 GPU 8개만 배치할 수 있었습니다. 반면 Vast.ai에서는 workstation 카드 기준으로 16개 GPU까지 도달할 수 있었지만, B200에서는 4개까지 가능했습니다. 따라서 가격 계산기에 표시된 GPU 수를 서비스의 일반적인 공급 한도로 간주하기 전에, 어느 제공업체의 어떤 카드 유형을 사용하는지와 각 제공업체의 배치 제한을 함께 확인해야 하는 상황이 됐습니다.

■ 실패한 요청도 결과에 포함

세 건의 대규모 배포가 유지됐다는 결과만 있었던 것은 아닙니다. 테스트 도중 한 요청이 중간에 실패했고, 당시 마켓플레이스 전체에서 이용 가능한 대형 머신이 하나뿐이었는데 다른 요청과의 경쟁에서 밀렸기 때문입니다. 이 요청에는 요금이 청구되지 않았으며, 실패 사실도 숨기지 않고 실제 로그에 남겼습니다. 작성자는 이 실패가 서비스가 완벽하다는 인상을 주지 않지만, 실제 한계를 확인하고 그 결과를 공개하는 편이 고객이 나중에 더 큰 문제를 겪게 하는 것보다 낫다고 설명합니다.

이 결과는 두 종류의 제약을 구분해야 한다는 점을 보여줍니다. RunPod의 pod당 8개 GPU 제한은 제공업체가 정한 고정적인 하드 용량 제한입니다. 반면 Vast.ai에서 16개 workstation GPU를 요청했을 때 대형 머신을 선점하지 못한 일은 시장에 장비가 있더라도 다른 사용자가 먼저 확보할 수 있는 재고 경쟁과 조달 가능성의 문제입니다. 전자는 가격이나 재시도만으로 해결하기 어려운 구조적 제한이고, 후자는 시간·재고·경쟁 상황에 따라 성공 확률이 바뀌는 배포 문제입니다.

■ 1달러 미만으로 확인한 가격 계산기의 간극

이 모든 검증에 들어간 실제 클라우드 비용은 1달러 미만이었습니다. 적은 비용으로 가격 계산기의 최대 512개 선택지와 실제 제공업체별 한계 사이의 불일치를 확인할 수 있었고, 8개를 넘어서는 요청에서 무엇이 가능한지와 무엇이 보장되지 않는지를 구체적인 수치로 정리할 수 있었습니다. 테스트의 목적은 서비스가 모든 요청을 성공시킨다는 인상을 만드는 것이 아니라, 실제로 가능한 범위와 실패할 수 있는 조건을 먼저 파악하는 데 있었습니다.

커뮤니티에서는 특히 실패한 요청을 중요한 데이터로 봤습니다. 한 이용자는 세 지역의 동시 배포가 유지된 사실보다 대형 머신 확보 경쟁에서 진 실패가 더 많은 정보를 준다고 지적했습니다. 16개 workstation GPU라는 수치도 절대적인 상한이 아니라, 그 순간 다른 사용자가 입찰하지 않았을 때 가능한 수치일 수 있다는 설명입니다. 이에 따라 가격 계산기에 단순한 제한 문구를 표시하는 것보다, 최근 100건의 대규모 요청 중 첫 시도에서 머신을 확보한 비율을 보여주는 편이 실제 사용 경험을 더 잘 설명할 수 있다는 제안이 나왔습니다.

작성자도 고정된 용량 상한과 실제 환경에서의 성공률은 서로 다른 주장이라고 답했습니다. 경쟁 상황에서의 가용성을 규모 확장 과정에서 중요하게 다루고 있으며, 향후 용량을 표시하는 방식에 이 차이를 반영하겠다는 입장입니다. 또 다른 댓글에서는 계산기 각 구간 옆에 제공업체, 카드 등급, 현재 가용성을 표시하고, 배포 실패 경쟁을 하드 용량 제한과 별도의 제약으로 기록해야 한다고 제안했습니다. 작성자는 이 제안에 동의하면서, 현재는 사용자가 제한에 도달해야만 cap이 나타나지만 이를 더 일찍 보여주면 혼란을 줄일 수 있다고 설명했습니다.

재검증 주기도 공개됐습니다. 제공업체의 재고와 제한이 바뀔 수 있기 때문에 이 스타트업은 실제 환경 테스트를 매주 실행하고 있으며, 이를 뒷받침할 데이터도 보유하고 있다고 답했습니다. 결과적으로 이번 사례에서 핵심은 512개라는 숫자를 단순히 낮추거나 유지하는 데 있지 않습니다. 가격 계산기가 보여주는 수치가 고정된 공급 한도인지, 특정 카드와 제공업체에서의 현재 가능 범위인지, 또는 경쟁 상황에 따른 확률적 가용성인지 구분해 사용자에게 전달하는 데 있습니다.

■ Indie Hackers 반응

• @peptides8 — 실패한 요청이 세 지역을 동시에 유지했다는 사실보다 더 중요합니다. 그리고 그 결과에서 얻은 숫자가 진짜 상한이라고는 생각하지 않습니다. 전체 마켓플레이스에서 그 순간 이용 가능한 유일한 대형 머신을 확보하기 위한 경쟁에서 졌다는 것은, 여러분의 용량이 경쟁의 영향을 받는다는 뜻입니다. 그러므로 workstation 카드에서 16개라는 수치는 그 순간 아무도 입찰하지 않을 때의 16개이기도 합니다. 이는 가용성이 한도가 아니라 확률이라는 뜻입니다. 이미 프로비저닝 시도를 기록하고 있다면, 가격 페이지에서 제가 보고 싶은 숫자는 성공률입니다. 대규모 요청 최근 100건 중 첫 시도에 머신을 확보한 건수가 몇 건인지 보여주세요. 주의 문구는 상한이 있다는 사실을 알려주지만, 성공률은 제가 실제로 버튼을 눌렀을 때 무슨 일이 일어나는지 알려줍니다.

• @Damian — 날카로운 구분이며, 정적인 상한과 현실적인 성공률이 서로 다른 주장이라는 지적이 맞습니다. 경쟁 상황에서의 가용성은 규모를 확장하면서 정확하게 다루고 싶은 바로 그런 종류의 미묘한 차이입니다. 앞으로 용량을 보고하는 방식을 다듬을 때 이를 반영하겠습니다. 단순히 헤드라인 숫자를 보는 대신 데이터에 대해 질문해 주셔서 감사합니다. 그것이 저희가 스스로 지키려는 기준입니다.

• @Shaid — 512개 GPU 선택지와 RunPod의 8개 GPU 제한 사이의 불일치를 1달러 미만의 테스트가 발견했다는 점이 중요합니다. 이는 가장 순조로운 경로가 아니라 약속 자체를 테스트한 좋은 사례입니다. 계산기에 각 범위 옆에 제공업체, 카드 등급, 현재 가용성을 표시하고, 프로비저닝 경쟁에서 발생한 실패는 하드 용량과 별도의 제약으로 기록하겠습니다. 제공업체의 재고와 제한이 바뀌는 상황에서 이런 실시간 테스트를 얼마나 자주 다시 실행할 예정인가요?

• @Damian — 자세한 분석에 감사드립니다. 두 제안 모두 타당하며 진지하게 반영하고 있습니다. 계산기와 관련해서는 각 범위 옆에 제공업체, 카드 등급, 실시간 가용성을 표시하는 것이 올바른 수정입니다. 현재는 사용자가 제한에 도달해야만 cap이 나타나지만, 이를 더 일찍 보여주면 계산기를 사용하는 사람 모두의 혼란을 줄일 수 있습니다. 기록과 관련해서도 RunPod의 고정된 8개 GPU 제한 같은 하드 용량 제한과, 이용 가능한 재고를 확보하지 못한 경쟁 실패를 분리해야 한다는 구분이 타당합니다. 두 문제는 해결 방법이 다르며, 데이터도 이를 반영해야 합니다. 주기와 관련해서는 매주 실시간 테스트를 실행하고 있고, 이를 뒷받침할 데이터도 보유하고 있습니다. 재고와 제한이 바뀔 때마다 계속 업데이트를 공개하겠습니다.

• @praneetbrar — 제가 계속 생각하게 되는 부분은 세 지역이 유지됐다는 사실이 아니라 실패한 요청입니다. 전체 마켓플레이스에서 이용 가능한 유일한 대형 머신을 확보하기 위한 경쟁에서 졌고, 비용은 청구되지 않았으며 실제 로그도 남았습니다. 1달러 미만의 비용으로 RunPod가 8개에서 하드 제한을 두고 있다는 사실을 발견했는데, 계산기는 여전히 512개를 표시하고 있었습니다. 그날 밤 이후 실제로 슬라이더를 낮췄나요, 아니면 누군가 512개를 선택하지 않기를 바라면서 여전히 선택 가능하게 두고 있나요?

원문: Indie Hackers / 번역·요약: Trawling