AI bubble update: 79% of companies say their GPUs sit idle at least half the time, yet most plan new AI platforms
기업 79%가 GPU를 절반 이상 놀리면서도 대다수는 새 AI 플랫폼을 계획합니다
VentureBeat가 2026년 7~9월 설문 응답 중 GPU 사용률을 밝힌 218곳을 분석했습니다. 79%는 GPU가 절반 이하로만 바쁘다고 답했지만, 이들 중 70%는 1년 안에 새 AI 컴퓨팅 플랫폼을 도입할 계획입니다. 저자는 GPU 용량과 폐쇄형 모델 API 지출이 서로 대체되지 않는 구조를 원인으로 봅니다.
- 주제
에디터 노트
GPU가 절반 이하로 바쁘다는 수치만으로 과잉 투자를 단정하기는 어렵습니다. 장애 대비와 수요 급증을 위한 여유 용량은 운영에 필요한 만큼, Reddit의 인프라 담당자들이 든 구역 장애 대응과 데이터 적재 사례는 유휴 시간을 낭비로만 볼 수 없다는 점을 보여줍니다. 다만 이 설문에서는 사용률이 낮은 기업도 70%가 새 플랫폼을 계획했고, 그중 90%가 클라우드나 모델 제공업체를 선택지로 꼽았습니다. 기업이 보유한 GPU와 API 모델 사용이 맞물리지 않는다는 저자의 설명은 이 수치와 부합합니다. 설문은 자발적으로 참여한 응답자를 대상으로 했고, 사용률을 밝힌 218곳만 분석했습니다. GPU를 쓰지 않거나 사용률을 측정하지 않는 기업은 빠졌으며, 계획된 플랫폼이 용량 증설인지 노후 장비 교체인지도 구분하지 않습니다. 따라서 결과는 기업 AI 지출의 불일치를 보여주지만, 전체 시장의 GPU 수요나 투자 손실 규모를 직접 입증하지는 않습니다. 댓글에서 나온 AGI 기대와 시장 붕괴 전망은 이 자료가 검증한 내용과 구분해야 합니다.
AI 요약
VentureBeat Intelligence가 2026년 7월부터 9월까지 진행한 VB Pulse 설문을 합산한 결과, AI를 운영 환경에서 쓰고 GPU 사용률을 답한 기업 218곳 중 172곳, 즉 79%가 GPU를 절반 이하로 사용한다고 답했습니다. 월별 비율도 77~81%로 비슷했습니다. GPU가 절반 이하로 바쁜 기업 중 70%는 12개월 안에 새 AI 컴퓨팅 플랫폼을 추가하거나 기존 플랫폼을 바꿀 계획이라고 했습니다. GPU 사용률이 절반을 넘는 기업의 계획 비율은 74%로, 두 집단의 차이는 통계적으로 유의하지 않았습니다.
기업 GPU와 모델 API의 지출 불일치
저자는 유휴 GPU와 새 플랫폼 도입 계획이 함께 나타나는 이유로 기업의 AI 지출이 두 갈래로 나뉜 점을 듭니다. 기업은 GPU 공급 부족을 우려해 용량을 확보했지만, 직원들은 Anthropic, OpenAI, Google의 프런티어 모델을 API나 구독으로 계속 사용합니다. 이 폐쇄형 모델은 기업이 보유한 GPU에 직접 올릴 수 없습니다. 자체 GPU를 활용하려면 오픈 웨이트 모델로 전환하고 운영 환경을 구축해야 하므로 엔지니어링 작업이 따릅니다. 설문에서 새 플랫폼을 계획한 유휴 GPU 보유 기업 중 90%는 클라우드 플랫폼이나 모델 제공업체를 선택지로 꼽았고, 온프레미스·코로케이션 GPU 클러스터 또는 자체 관리 오픈소스 스택을 꼽은 비율은 8%였습니다.
자체 관리 환경을 쓰는 기업은 GPU 사용률도 상대적으로 높게 보고했습니다. 이들 중 GPU를 절반 이하로 쓰는 곳은 56%였고, 나머지 기업에서는 83%였습니다. 다만 설문은 그 이유를 묻지 않았습니다. 저자는 자체 스택을 운영하는 팀은 유휴 시간을 직접 확인하고 GPU를 채울 엔지니어도 갖췄을 것이라고 추정합니다. 9월 조사에서 새 플랫폼을 계획한 기업 64곳 중 58곳, 91%는 재무팀이 검토한 투자수익률(ROI) 수치가 없다고 답했습니다. 다만 GPU를 쓰지 않는 기업이나 사용률을 측정하지 않는 기업은 이용률 분석에서 빠졌고, 일부 유휴 용량은 수요 급증이나 장애 대비용일 수 있습니다. 계획된 플랫폼이 기존 장비를 교체할 수도 있습니다.
비용 절감은 토큰과 에이전트 운영에서
저자는 앞으로 기업 AI 지출에서 모델 호출별 토큰 비용이 커질 것으로 봅니다. 여러 단계로 작업을 수행하는 AI 에이전트는 토큰을 많이 쓰며, Gartner는 에이전트 워크플로의 추론 비용이 2028년까지 5배 넘게 늘 것으로 전망했습니다. 토큰 단가는 떨어져도 에이전트가 더 많은 토큰과 더 비싼 토큰을 쓰면 전체 비용은 줄지 않을 수 있다는 설명입니다. 코딩 에이전트가 처리하는 맥락 정보에는 지시문과 문서, 대화 기록이 포함되며, 이를 반복해서 읽히는 비용을 줄이려면 캐싱이 중요합니다. Nvidia 엔지니어들의 기술 안내서는 Claude Code 세션의 첫 호출 이후 맥락 중 85~97%가 캐시에서 재사용된다고 보고했습니다. Anthropic은 캐시된 입력 토큰에 모델에 따라 일반 입력 요금의 1/40~1/10을 부과합니다.
여러 에이전트를 함께 쓰는 방식도 비용을 키울 수 있습니다. Vals AI 분석에서 최대 5개 하위 에이전트를 실행하는 팀 구성은 단일 에이전트보다 비용이 1.8~5.1배였고, 네 가지 팀 구성 중 벤치마크 점수를 통계적으로 유의하게 높인 것은 하나뿐이었습니다. 저자는 다음 계약 전에 완료한 작업당 GPU 용량과 API 비용을 함께 측정하고, 작업당 비용을 기준으로 모델을 고르라고 제안합니다. 에이전트에 필요한 맥락만 보내고 반복 맥락을 캐시하며, 작업을 병렬로 나눌 때만 에이전트를 추가하는 방식도 권합니다. 분류·추출·요약처럼 반복량이 많은 작업은 유휴 용량의 오픈 모델로 옮기고, 남는 GPU 시간에는 배치 추론과 모델 평가, 파인튜닝을 배치하자는 제안입니다.
데이터 범위와 한계
7~9월 설문에는 직원 100명 이상인 조직의 응답자 385명이 참여했으며, 매월 다른 자발적 응답자 집단을 조사했습니다. 따라서 수치는 전체 기업을 대표한다고 볼 수 없고, GPU 사용률 분석에는 그 수치를 제공한 218곳만 들어갑니다. 응답자는 사용 중이거나 검토 중인 플랫폼을 여러 개 선택할 수 있었습니다. 저자는 월별 유휴 비율 차이가 통계적으로 유의하지 않다고 밝혔습니다.
Reddit 반응
- @Perunov — 사용률 주장은 조금 오해를 부를 수 있습니다. 일반 클라우드 서버도 CPU를 늘 100% 쓰지 않습니다. 학습 작업은 GPU를 꽉 채우지만 실제 서비스는 그렇지 않을 수 있고, 급증하는 수요를 위해 용량을 예약하기도 합니다.
- @sea_grapes — 저는 규모가 큰 기술 회사에서 핵심 인프라를 관리합니다. 가용성 위험 때문에 용량의 67%를 넘겨 쓰지 않습니다. 세 구역 중 하나가 실패하면 요청을 처리하지 못할 수 있기 때문입니다. 그래서 인프라의 최소 3분의 1은 장애 대비용으로 놀립니다. 나중에 필요할 때 용량을 다시 확보할 수 있을지 몰라 할당량도 줄이지 않습니다.
- @Zahz — 저는 머신러닝 데이터센터에서 일합니다. DGX A100과 H100을 운영하며 작업 대기열이 몇 주씩 이어져도 사용률이 80%를 넘는 일은 드뭅니다. 저장소에서 데이터를 불러오는 데 시간이 걸리고, 작업 규모가 커질수록 GPU 간 데이터 수집과 동기화가 어려워집니다. 대역폭도 많이 씁니다.
- @neuronexmachina — GPU 배포 규모별로 응답을 나눴으면 좋겠습니다. 유휴 GPU를 보유한 기업 중 상당수가 소규모 배포일 것 같습니다. 덜 자극적인 제목은