리볼루트, 자체 운영 GLM으로 Codex·Claude Code 대비 코딩 추론비 90% 낮췄다고 밝혀

본문

리볼루트는 자체 운영 모델을 AI 코딩의 기본 경로로 삼아, OpenAI Codex나 Anthropic Claude Code를 이용할 때보다 추론 비용을 약 10분의 1로 낮췄다고 밝혔습니다. 운영·인프라 책임자 David Abitbol은 2026년 10월 13일 AI Engineer NYC에서 약 2,000명 엔지니어를 대상으로 한 배포 경험을 소개했습니다. 행사 자료는 혼합 추론 비용을 입력·출력 토큰 100만 개당 약 0.30달러로 제시했습니다. 이 수치는 리볼루트의 배포와 이용량을 바탕으로 한 사례입니다.

리볼루트는 2025년 초 Gemini로 정보 검색과 문서 읽기를 돕기 시작했고, 2026년 초에는 Claude Code를 도입했습니다. Abitbol은 일부 엔지니어가 한 달에 1,000달러에서 10,000달러를 쓰는데도 투자 효과가 뚜렷하지 않아 회사가 토큰 예산을 엄격하게 제한했다고 설명했습니다. 사용량이 제한되자 엔지니어들은 토큰을 어려운 코딩 작업에 남겨 두고, 반복적인 디버깅이나 업무 관리에는 덜 쓰게 됐습니다.

이후 리볼루트는 Z.ai의 오픈 웨이트 모델 GLM 5.1을 도입했고, 현재는 GLM 5.3을 기본 모델로 제공한다고 발표했습니다. 추론 비용이 낮아지면서 엔지니어들은 코드 작성뿐 아니라 디버깅, Jira 티켓, Confluence 문서와 같은 주변 업무에도 모델을 활용하게 됐습니다. Abitbol은 엔지니어링 과정의 지연이 코드 작성에서만 생기는 것은 아니며, 코드에 도달하기 전의 업무도 리드타임을 늘린다고 설명했습니다.

사내 차트는 GLM 5.1 도입 시점에 코딩 시간 지표가 약 60%, 기능을 맡은 시점부터 코드가 병합돼 배포 준비를 마칠 때까지의 리드타임 지표가 약 70% 개선됐다고 제시했습니다. 차트는 모델 변경과 다른 요인의 효과를 분리하지 않았습니다.

리볼루트는 GLM 5.3을 56개의 Nvidia B200 GPU에서 약 2,000명 엔지니어에게 제공한다고 밝혔습니다. 자체 호스팅은 리볼루트가 선택한 인프라에서 모델을 배포하고 추론을 운영하는 구조입니다. 리볼루트는 모델 라우터를 둬 텍스트 기반 코딩 요청은 GLM에, 이미지 이해 요청은 Gemini나 GPT Luna 같은 다른 모델에 보냅니다. 프런티어 모델도 예외 경로로 남겨 둡니다.

Abitbol은 GPU 수를 늘리는 것보다 모델과 서빙 설정을 조정하는 데서 큰 성능 향상을 얻었다고 설명했습니다. 팀은 모델 설정을 조정하고 NVFP4 양자화를 적용했으며, 입력 문맥을 처리하는 프리필과 답변 토큰을 생성하는 디코드 단계를 분리해 서빙 방식을 다듬었습니다. 양자화는 모델 가중치가 차지하는 메모리를 줄이고, 두 처리 단계를 분리하면 서로 다른 작업 특성에 맞춰 시스템을 조정할 수 있습니다.

리볼루트는 문맥 길이도 실제 요청에 맞췄습니다. 모델이 100만 토큰 문맥을 처리할 수 있어도 코딩 작업에는 약 25만6,000 토큰이면 충분하다는 것이 Abitbol의 설명입니다. 이미 처리한 토큰의 정보를 보관하는 KV 캐시가 GPU 메모리를 차지하므로, 최대 문맥을 넉넉히 설정하면 동시에 처리할 요청에 쓸 메모리가 줄어듭니다. 발표 자료의 비교에서는 GPU 수를 고정한 상태에서 초당 요청 수가 76% 증가했고, 첫 토큰까지 걸리는 시간은 이행 과정의 14.26초에서 안정화된 설정의 1.68초로 줄었습니다. Abitbol은 대화형 작업에서 첫 토큰까지 3초 미만을 목표로 삼는다고 설명했습니다.

자료: The Register, AI Engineer / 정리·해설: Trawling