GPT-5.6 Luna vs. GPT-6 Astra — 백만 토큰당 $1.20 모델로 코드 리뷰가 가능할까

본문

AI 코드 리뷰 도구를 만드는 Entelligence가 후속 벤치마크를 공개했습니다. 이번 질문은 하나입니다. 모든 pull request를 가장 싼 모델에 돌리면 무엇을 잃는가입니다. GPT-5.6 Luna는 백만 입력 토큰당 $0.20, 출력 토큰당 $1.20이고, GPT-6 Astra는 $10/$50입니다. 같은 PR에서 Luna 리뷰 1건은 $0.0041, Astra 리뷰 1건은 $0.113으로 약 28배 차이가 났습니다.

벤치마크 구성과 검증 방식

대상은 AI-Code-Review-Evals 조직의 공개 PR 50개로, Cal.com, Sentry, Discourse, Keycloak, Grafana에서 각 10개씩 가져왔고 각 PR은 클린 base 브랜치에 의도적으로 결함을 심은 것입니다. 두 모델에 동일한 diff와 동일한 프롬프트를 주고 정확성·보안·동시성·리소스·에러 처리 버그만 구조화된 결과로 받았습니다. 검증은 Luna, Astra, GPT-5.6 Sol, 공개 Entelligence 리뷰어 코멘트를 PR별로 익명 풀에 섞은 뒤 Astra와 Sol이 각각 판정하고, 두 심판 모두 '진짜 버그'라고 한 것만 집계했습니다. 두 심판은 91%에서 일치했고 143개의 서로 다른 버그가 통과했습니다.

결과: 가격 대 성능의 윤곽

Luna는 검증된 버그 69개, Astra는 92개를 찾았습니다. 지적 건수는 93 대 96으로 비슷했지만 정확도는 74% 대 96%로 갈렸고, Luna 코멘트 넷 중 하나는 노이즈였습니다. 총비용은 $0.20 대 $5.66, 검증 버그당 비용은 $0.0030 대 $0.061입니다. Luna는 리뷰당 출력 토큰을 3.1배 더 많이 쓰고도 출력 단가가 42배 낮아 훨씬 쌌고, 리뷰당 23초로 36초인 Astra보다 빨랐습니다.

어디서 벌어지나: 코드베이스·버그 유형별 분해

Sentry, Discourse, Grafana에서는 격차가 검증 버그 2개 이내였지만, Cal.com은 21 대 30, Keycloak은 6 대 14로 크게 벌어졌습니다. Keycloak은 인증·권한 로직이 많은 IAM 서버로, Luna의 Keycloak 지적 중 살아남은 것은 50%뿐이었습니다(Astra는 93%). 버그 유형별로는 데이터·로직 버그에서 39 대 47, 동시성에서 10 대 13으로 근접했으나 보안에서 9/24 대 19/24로 뒤졌습니다. Astra가 잡고 Luna가 놓친 사례로 '복구 코드가 사용 처리되지 않아 재사용 가능한 결함', '글로벌 조회 권한이 개별 클라이언트의 거부 설정을 덮는 결함'이 있는데, 둘 다 단일 라인으로는 보이지 않고 변경 후 권한 모델을 추론해야 드러나는 버그입니다.

역으로 Luna만 잡은 버그와 재현성

검증된 143개 중 44개는 공통, 48개는 Astra만, 25개는 Luna만 발견했습니다. Luna 전용 25개 중 16개가 데이터·로직, 4개가 동시성 버그였습니다. 둘을 함께 돌리면 $5.86으로 117개(82%)를 잡아 Astra 단독보다 25개 많습니다. 반복 실행 테스트(코드베이스당 2개 PR, 3회씩)에서는 Astra가 15개 중 10개를 세 번 모두 재발견한 반면 Luna는 7개에 그쳐, 실행 간 변동성이 Luna에서 더 컸습니다. 한계도 명시됩니다. Astra가 참가자이자 심판 중 하나라는 편향, 모든 PR이 두 모델의 학습 컷오프 이전이라 날짜 분할 검증이 불가능하다는 점, 모델이 diff 외 컨텍스트를 보지 못했다는 점입니다.

Hacker News 반응

• @verdverm — 이미 더 싼 모델(K2.7)을 쓰고 있으며 리뷰당 $1 미만이지만, 컨텍스트 수집과 코멘트 게시를 스크립트로 분리하고 서브에이전트 세션을 여럿 쓰는 구조라 더 비싸다고 합니다. 그래도 사람과 유료 옵션이 놓치는 것을 잡아줘서 가치가 있다는 입장입니다.
• @StevenWaterman — 기사 기준으로 리뷰 1건 비용은 Luna $0.004, Astra $0.113이며, 헤드라인의 가격은 백만 토큰 기준이라고 정정했습니다.
• @verdverm — 1센트 미만 비용이라면 사실상 아무것도 안 하는 수준이며, 리뷰 비용 최소화 자체는 목표가 아니라고 반박했습니다. 자신의 목표는 리뷰당 약 $1이고, 그래야 읽고 답하는 자기 시간보다 싸게 잡아준다는 것입니다.
• @StevenWaterman — PR당 $0.10 추가는 아무것도 아닌데, 10센트 아끼려고 더 나쁜 리뷰와 더 적은 버그 탐지를 받아들일 소프트웨어 회사가 어디 있냐고 반문했습니다.
• @jstummbillig — 코드가 앞으로 얼마나, 얼마나 자주 바뀔지에 달렸다고 봅니다. 에이전트가 만드는 수명 짧은 코드가 늘면 극단적으로 싼 검사 수요가 커질 수 있지만, 결국 모델 제공자가 모델 안에 내장할 기능일 가능성이 높다고 덧붙였습니다.

원문: Hacker News / 번역·요약: Trawling