Reddit

Gemini 4 Argon vs Claude Opus 5.5: same prompt. Tiny World test

Gemini 4 Argon과 Claude Opus 5.5, 같은 프롬프트로 만든 작은 행성 비교

같은 프롬프트와 프로젝트 노트를 사용해 Gemini 4 Argon과 Claude Opus 5.5에 Three.js 행성 페이지를 한 번씩 만들게 했습니다. Argon은 5.5분, 1.58달러가 들었고 Opus는 14분, 2.54달러가 들었습니다. 다만 실행 횟수가 모델마다 한 번뿐이고 Opus만 결과물을 세 차례 확인해 단순한 성능 비교로 보기는 어렵습니다.

에디터 노트

이 비교에서 확인되는 차이는 모델의 순수한 생성 능력보다 페이지 작성과 검수까지 포함한 실행 결과입니다. Argon은 더 짧은 시간과 낮은 비용으로 파일을 만들었지만 결과물을 확인하지 못했고, Opus는 세 차례 페이지를 확인했습니다. 따라서 시간과 비용은 비교할 수 있어도 완성도 차이를 모델에만 돌리기는 어렵습니다. 댓글에서 지적한 모바일 메뉴 문제와 원샷 테스트의 한계도 결과물 평가와 실제 에이전트 작업 평가가 서로 다른 질문임을 보여줍니다. 실행 횟수가 각각 한 번이라 반복 성능까지 판단할 근거는 부족합니다.

AI 요약

작성자는 Claude Opus 5.5가 9월 22일 행성 페이지를 만들 때 사용한 요청과 프로젝트 노트를 Gemini 4 Argon에 그대로 제공했습니다. 두 모델 모두 구름과 산, 도시 건물, 자동차와 비행기가 있는 만화풍 3D 행성을 만들고 카메라 회전과 확대를 지원하는 단일 Three.js 페이지를 작성하라는 요청을 받았습니다. 프롬프트에는 모델 이름과 단일 index.html 파일을 요구하는 마지막 문장만 달랐습니다. 두 모델은 각각 한 번 실행했으며 작성자는 중간에 지시를 추가하거나 코드를 고치지 않았습니다.

실행 환경과 결과

Argon은 Google Cloud Vertex AI의 Gemini CLI 0.63.0에서 기본 설정으로 실행했고, Opus는 Claude Code를 사용했습니다. 두 모델 모두 빈 홈 디렉터리와 Node.js, 페이지를 확인할 수 있는 헤드리스 브라우저가 든 격리 환경에서 작업했습니다. Argon은 5.5분 동안 10건의 모델 요청과 11건의 도구 호출을 수행했습니다. 입력은 113만 2천 토큰이고 그중 59만 9천 토큰이 캐시됐으며, 출력은 4만 1,900토큰, 생각 토큰은 3,400개였습니다. 공개 API 가격 기준 비용은 1.58달러입니다.

Opus는 14분, 2.54달러가 들었고 작성자 스스로 페이지를 세 차례 확인했습니다. Argon도 브라우저 스크립트로 페이지를 확인하려 했지만 실패해 결과를 살펴보지 못했습니다. 완성된 페이지 크기는 Argon 56KB, Opus 48KB였습니다. 비교표에는 Claude Sonnet 5.5의 네 차례 평균과 GPT-6 Sol의 한 차례 실행 결과도 실렸습니다. Sonnet은 평균 11.2분, 1.69달러였고 실행 시간은 7분에서 15분 사이였습니다. Sol은 7.1분, 0.70달러였습니다.

비교의 범위

작성자는 Argon과 Opus를 각각 한 번만 실행했고 모델 결과는 실행마다 달라질 수 있다고 밝혔습니다. 블라인드 평가도 하지 않았으며 독자가 두 결과물을 직접 보고 판단하도록 했습니다. Argon은 출시 직후라 접근이 제한된 상태이며, Google이 이용을 확대하면 속도가 달라질 가능성도 언급했습니다. Argon의 가격은 출시 가격인 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러를 적용했고 캐시 입력은 95% 할인했습니다.

Reddit 반응

  • @u/Mesmerisez — 좋은 테스트입니다. Argon은 Opus보다 약해 보입니다.
    • @u/Rudy69 — 할당량을 너무 빨리 소진합니다.
    • @u/CrowdGoesWildWoooo — 할당량은 회사마다 다르므로 비교 기준으로 쓸 수 없습니다. 20달러 구독이 API 사용량 1,000달러어치를 언제까지 제공하는지도 알 수 없습니다.
    • @u/itorcs — 무료 사용자에게라도 체험 기회를 주지 않은 것은 큰 실수입니다.
    • @u/GuitarAgitated8107 — 그만한 가치가 없습니다. 별로 얻는 것 없이 돈만 쓰게 됩니다.
  • @u/Wheelthis — Argon에는 기본적인 UX 문제가 있습니다. 메뉴가 사라지지 않아 모바일에서는 사실상 쓰기 어렵습니다. 아래쪽 메뉴 두 개는 불리언 값인데 다른 항목과 구분되도록 토글이나 스위치로 표현하면 의도가 더 분명해집니다.
  • @u/onFilm — UI 차이를 보기 좋습니다. Argon이 조금 더 사용자 친화적으로 보이고 Opus는 시각적 결과물이 더 나아 보입니다. 저는 시각 작업에 Sol 6.1을 쓰는데 지시를 구체적으로 주면 Opus보다 나은 경우가 많아 비교해 보고 싶습니다.
  • @u/fechan — 이런 원샷 프롬프트 테스트는 쓸모가 없습니다. 사용자 피드백 없이 어디까지 나아가는 모델인지 보여줄 뿐입니다. 잘못된 방향으로 진행할 위험을 감수하기보다 일찍 피드백을 요청하는 에이전트를 더 높게 평가하겠습니다.
    • @u/JustinsWorking — 이 프롬프트 하나로 어떤 LLM이 더 그럴듯한 무의미한 벤치마크를 만드는지 보는 테스트일 뿐입니다. 실제 이점이나 유용한 선택과는 연결되지 않습니다.
  • @u/JacketHistorical2321 — Argon에서 마음에 드는 점은 같은 프로젝트를 하다가 몇 턴마다 오류가 나서 Opus 4.8로 내려가는 일이 없다는 것입니다. Opus 5.5는 실제로 쓸 수만 있다면 훌륭합니다.
    • @u/FinalDescription6553 — Opus 5.5에서 그렇게 자주 차단된다는 점이 놀랍습니다. 저는 사이버 보안과 인증 서비스를 작업하며 취약점을 찾으라고 명시해도 문제가 없었습니다. Fable 5.1에서는 계속 문제가 생겼습니다.
  • @u/vinis_artstreaks — 시간 차이는 무시하기 어렵습니다. Gemini Argon은 적절한 작업에서 강점을 보일 수 있습니다.
  • @u/Accomplished-Fan9568 — 14분 대 5분이 실제 차이입니다. 그래도 Opus에는 꽤 인상적인 높이맵 지형이 있습니다.

원문: Oh My Unicorn / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗