Same game built twice: Opus alone vs Opus planning + local Qwen coding. 16 min vs 42 min, $2.52 vs $0.62
같은 게임을 Opus 단독과 Opus+로컬 Qwen으로 제작: 16분·2.52달러 대 42분·0.62달러
한 사용자가 같은 사양의 픽셀 플랫폼 게임을 Opus 단독과 Opus가 계획·검토하고 로컬 Qwen이 코드를 작성하는 방식으로 각각 만들었습니다. 혼합 방식은 비용을 약 75% 줄였지만 제작 시간이 16분에서 42분으로 늘었고 체크리스트 점수도 25개 중 24개로 낮았습니다.
- 주제
에디터 노트
비용과 시간만 보면 혼합 방식의 장단점이 분명하지만, 24/25라는 점수와 시각적 품질 논쟁이 결과물 품질을 충분히 설명하지는 않습니다. 특히 빠진 항목이 무엇인지 공개되지 않아 두 방식의 차이가 기능 누락인지 완성도 차이인지 판단하기 어렵습니다. 댓글에서는 게임의 외관이 크게 떨어진다는 비판과, GPU 한 장에서 세 작업자가 경쟁해 시간이 늘었다는 설명이 나옵니다. 둘 다 이 한 번의 실행에서 나온 해석이며 일반적인 모델 성능을 입증하지는 않습니다. 작업 분할과 로컬 추론이 비용을 낮출 수 있다는 사례로 읽을 수는 있지만, 재현 가능한 비교를 위해서는 누락된 항목과 평가 기준, GPU 대기 시간을 함께 공개해야 합니다.
AI 요약
한 사용자가 5개 레벨과 보스, 승리 화면을 포함한 픽셀 플랫폼 게임을 같은 사양으로 두 번 만들고 비용과 시간을 비교했습니다. 두 실행은 MacBook Pro M5 Max의 Fusion 모드에서 진행했습니다. 첫 번째는 Opus 5.5가 계획과 코딩을 모두 맡았고, 두 번째는 Opus 5.5가 계획·검토를 맡고 로컬 Qwen 3.8 27B 모델 세 개가 코드를 작성했습니다.
실행 결과
Opus 단독 실행은 16분, 클라우드 비용 2.52달러, Opus 출력 9만 700토큰을 기록했고 체크리스트 25개를 모두 통과했습니다. 혼합 실행은 42분, 0.62달러, Opus 출력 1만 1300토큰으로 25개 중 24개를 통과했습니다. 제출자는 혼합 방식에서 Opus 출력이 약 8분의 1로 줄고 비용은 약 75% 낮아졌지만, 로컬 GPU를 세 작업자가 나눠 쓰면서 시간이 2.5배 넘게 걸렸다고 설명합니다.
제출자는 15분 안에 끝내야 하는 일에는 Opus 단독을, 여러 작업으로 나눌 수 있고 기다릴 만한 일에는 Opus 계획과 로컬 모델 코딩을 권합니다. 다만 게시물에는 실패한 체크리스트 항목이 무엇인지 나오지 않습니다. 댓글에서는 두 번째 게임의 배경, 애니메이션, 보스 표현이 훨씬 떨어진다는 지적이 나왔고, 일부는 비용 절감보다 결과물의 품질 저하를 더 큰 문제로 봤습니다.
Reddit 반응
- @ackley14 — Qwen 대신 Haiku를 써서 다시 실행해 주세요. Haiku 5.5는 비용 효율이 매우 좋아서 Qwen보다 숙련됐는지 궁금합니다.
- @HelpfulAd7524 — DeepSeek V4.1 Flash 1018로도 시험해 봐야 합니다. Opus를 오케스트레이터로 두고 쓰는데 결과가 좋습니다.
- @_JohnWisdom — 결과가 꽤 다릅니다. 두 번째 선택지는 고르지 않겠습니다. 배경, 적, 뒤집히는 동전, 용암의 움직임, 보스 표현, 깃발의 모양과 움직임을 보세요.
- @karlfeltlager — 1~2달러라고 할 수도 있지만, 2520달러 대 620달러라고 보면 차이가 큽니다.
- @ThroughTheWire — Opus는 시간도 절반 이하로 들고 더 정확합니다. 제게는 그 비용을 낼 가치가 충분합니다.
- @RabidHexley — Opus가 설계와 코드 구조를 맡고 저렴한 모델이 상용구 코드만 작성한 뒤 Opus가 검토하면 좋겠습니다. 하지만 약한 모델의 미감 부족이 결과에 섞이는 문제가 남습니다. 오케스트레이터와 하네스를 잘 설계하면 가능성이 있지만 아직 까다롭습니다.
- @BohemianGecko — Opus와 Qwen 조합이 놓친 체크리스트 항목이 무엇인가요? 결과물 품질이 이 방식을 시도할지 결정하는 기준입니다.
- @protrener — GPU 한 장에서 작업자 세 명이 대기한 점이 Qwen 자체보다 시간이 늘어난 이유일 수 있습니다. 완료하지 않았는데 완료했다고 보고하는 문제도 겪었습니다. 24/25 결과가 그런 경우인지 확인해 볼 만합니다.
- @Obvious-Grape9012 — Opus를 제대로 쓰면 변경 작업은 Sonnet에 맡깁니다. Qwen을 쓴 것과 비슷한 방식입니다.
- @Muhlwa_Sholanke — 1.90달러를 아끼려고 26분을 더 썼습니다. 최저임금으로 계산해도 기다리는 비용이 절감액보다 큽니다.
원문: Reddit / 번역·요약: Trawling