I ran local AI inference (AMD GPU) for 30 days and measured every watt — here's the real cost vs cloud APIs
AMD GPU로 로컬 AI 추론을 30일간 돌려 전력과 비용을 측정하고 클라우드 API와 비교했습니다
RX 7900 XTX로 30일간 로컬 추론을 측정한 글입니다. API 비용을 처음엔 10.72배로 잘못 계산했다가 캐시 입력 요금을 반영해 2~6배로 수정했으며, 전력 기록과 모델 가격 비교에도 미확인 조건이 남았습니다.
- 주제
에디터 노트
수정된 2~6배라는 차이는 실측 결과라기보다 캐시 적중률을 가정해 계산한 범위입니다. 실제 적중률을 재지 않았고 가격표도 구동 모델과 다르며, 41.9W 평균 전력은 작성자 스스로도 기록 오류 가능성을 제기합니다. 따라서 이 자료만으로 로컬 추론이 더 싸다고 결론 내리기는 어렵습니다. 반면 작성자가 처음 계산을 고치고 측정의 빈틈을 구체적으로 밝힌 과정은 유용합니다. 댓글에서도 캐시 유지 시간과 유휴 전력 분리를 지적했고, 이는 비교 결과가 사용 패턴과 측정 방식에 좌우된다는 점을 보여줍니다. 개인정보 보호와 학습 경험은 비용 절감과 별개의 로컬 실행 가치로 제시됩니다.
AI 요약
로컬 추론과 클라우드 API의 비용을 비교하려고 작성자는 AMD Radeon RX 7900 XTX 24GB, 32GB 메모리 시스템을 전력계에 연결해 30일간 사용량을 기록했습니다. 입력 9억 6,400만 토큰과 출력 1,300만 토큰을 처리했고, 전력 사용량은 30.20kWh, 전기요금은 12.38CHF, 약 14.05달러였습니다.
API 비용 계산 수정
처음에는 입력 토큰 전체에 신규 입력 요금 100만 토큰당 0.15달러를 적용해 API 비용을 150.71달러로 계산했습니다. 댓글 지적 뒤 캐시 입력 요금인 0.016달러를 반영했습니다. 입력의 90~95%가 캐시된다고 가정하면 API 비용은 27.99~34.45달러로 내려갑니다. 캐시 비율이 50%라면 약 86달러입니다. 실제 캐시 적중률은 측정하지 않았으므로 이 비용은 가정에 따른 추정치입니다.
비교 기준에도 차이가 있습니다. 실제 구동한 모델은 qwen3.8-flash-next-coder였지만 가격표는 qwen3.8-flash 기준입니다. 따라서 수정된 API 비용도 정확한 동등 비교가 아닙니다.
전력 측정과 손익분기점
30.20kWh를 720시간으로 나누면 평균 전력은 41.9W입니다. 작성자는 RX 7900 XTX 시스템의 대기 전력으로 보기 어려운 값이라며 측정 기록에 공백이 있었거나 실제 추론 시간을 잘못 추정했을 가능성을 제기했습니다. 유휴 상태와 추론 상태의 전력 사용량을 분리하지 못해 월 전기요금이 추론에 추가로 든 비용인지도 아직 확정하지 못했습니다.
GPU 가격은 약 1,135달러입니다. 작성자는 전기요금만 비교해 월 20달러를 아낀다고 보면 회수에 약 4.6년이 걸리고, 나머지 시스템 가격과 감가상각, 학습에 든 시간은 계산에 넣지 않았다고 밝혔습니다. R&D 테스트가 많았던 달이라 일반적인 사용량을 대표하지도 않습니다. 에이전트가 같은 파일과 대화 내용을 반복해서 읽는 실제 작업에서는 캐시 적중률이 높아져 API 비용이 낮아질 수 있다고 설명합니다.
로컬 실행의 목적과 도구
작성자는 로컬 실행의 가치를 비용 절감보다 데이터가 집 밖으로 나가지 않는 점, 양자화와 KV cache, prefill과 decode의 특성을 익히는 경험, 클라우드 제공자에 덜 의존하는 기반에서 찾습니다. Ollama로 시작한 뒤 모델과 양자화 설정을 더 세밀하게 다루려고 llama.cpp로 옮겼습니다. AMD GPU에서는 ROCm 호환성도 고려해야 하며, 작성자는 llama.cpp가 AMD GPU에서 잘 작동했다고 적었습니다. 코딩 보조만 필요하면 12GB VRAM으로도 충분할 수 있고, 긴 컨텍스트를 쓰는 프로젝트 단위 에이전트에는 24GB를 권합니다.
Reddit 반응
- @ln28909 — 입력 대부분은 100만 토큰당 0.15달러가 아니라 0.016달러인 캐시 입력으로 과금됩니다. 보통 입력의 95%가 캐시되므로 API 비용은 약 35달러이며, 로컬 시스템의 속도가 더 느려 작업 시간이 2~3배 걸리는 점도 고려해야 합니다.
- @Ctbhatia — 캐시 입력 요금이 계산에 큰 영향을 줍니다. 캐시된 접두부는 캐시가 유지되는 동안에만 적용되며, 며칠에 걸쳐 나뉜 세션은 캐시 적중이 대부분 사라질 수 있습니다.
- @Dreeew84 — 전력계가 측정한 전체 소비량과 일반 사용 대비 로컬 추론의 추가 소비량을 구분해야 합니다. 겨울에는 컴퓨터가 방을 데우는 만큼 난방비를 상쇄할 수도 있습니다.
- @TransportationNo5067 — 홈브루잉이나 닭을 기르는 일처럼 초기 비용과 시간, 노동을 빼면 비용을 아끼는 것처럼 보일 수 있습니다. 로컬 AI는 취미, 개인정보 보호, 작동 원리를 더 깊이 익히려는 목적에 의미가 있고, 돈을 아끼려는 목적이라면 클라우드를 쓰는 편이 낫습니다.
- @GrevireDev — 캐시 계산과 전력 측정 지적을 받아들였습니다. 다음 측정에서는 유휴 전력과 추론 전력을 나누고 실제 캐시 적중률과 사용 모델에 맞는 가격표를 확인하겠다고 답했습니다.
원문: GrevireDev 블로그 / 번역·요약: Trawling