Gemini 4 Carbon: 차세대 프런티어 모델

Google이 코딩과 사이버보안 성능을 높인 Gemini 4 Carbon을 발표했습니다. 벤치마크 점수와 내부 평가 결과를 공개했지만, 초기에는 일부 보안 전문가에게만 제공하고 일반 개발자 공개 시점은 밝히지 않았습니다.

주제: AI 사이버보안 개발 도구

에디터 노트

이번 발표에서 확인되는 성과는 Google이 공개한 벤치마크와 내부 평가에 한정되며, Carbon은 아직 일반 개발자가 직접 시험할 수 없습니다. 따라서 사이버보안 점수가 높다는 사실만으로 실제 코드베이스에서도 같은 수준의 취약점 탐지와 수정을 한다고 판단하기 어렵습니다. Hacker News에서는 비공개 벤치마크를 포함한 Artificial Analysis 지수의 신뢰성과 출시 지연을 함께 문제 삼았습니다. Argon을 직접 사용한 댓글도 에이전트 환경에 따라 평가가 엇갈렸지만 Carbon 경험담은 아닙니다. 현재 가장 설득력 있는 평가는 성능 개선의 크기보다 공개된 점수를 재현하거나 실제 작업에서 확인할 수 있는 정보가 부족하다는 점입니다.

AI 요약

Google은 Gemini 4 Carbon을 차세대 프런티어 모델로 발표했습니다. 회사가 공개한 Artificial Analysis Intelligence Index v5 점수는 59점으로 1위이며, SEC-bench Pro 취약점 탐지에서 88.2%, ExploitGym 익스플로잇에서 54.8%, CWE-bench 패치에서 71.0%를 기록했습니다. 외부 벤치마크 결과는 안전 가드레일을 적용하지 않은 상태에서 측정했습니다.

코딩과 장기 작업

Carbon은 Gemini 4 Argon을 바탕으로 여러 단계에 걸친 에이전트 작업과 긴 엔지니어링 과제를 수행하도록 개발했습니다. Google 내부 팀은 대규모 코드베이스와 저수준 시스템에서 미묘한 버그의 원인을 찾고 수정하는 작업을 모델이 며칠간 이어 갔다고 밝혔습니다. 웹 개발 벤치마크 WebDev Arena에서는 89 Elo 점수를 높여 1,768점, 4위에 올랐습니다. 내부 평가에서는 Argon보다 안전한 코드 생성 성공률이 2배 이상 높았고, Chrome 팀은 다른 연구소의 프런티어 모델보다 고품질 패치 생성 성능이 10배 이상 좋았다고 전했습니다.

사이버보안 성능과 배포

Google은 취약점 탐지와 검증, 수정 전 과정에서 성능이 향상됐다고 설명합니다. Carbon은 취약점 악용 가능성을 확인하는 ExploitGym과 원인을 고치는 CWE-bench에서도 높은 점수를 기록했습니다. 이번 주부터 일부 사이버 방어 담당자에게 먼저 제공하고, Fairwind Program을 통해 신뢰할 수 있는 파트너로 접근을 넓힐 예정입니다. 일반 개발자와 기업, 소비자에게 제공할 구체적인 날짜는 공개하지 않았습니다. 출시 초기 가격은 입력 토큰 100만 개당 2달러, 출력 토큰 100만 개당 10달러이며 캐시 입력 토큰은 입력 가격보다 95% 저렴합니다.

안전성 평가

Google은 학습 단계의 부정행위 억제와 실시간 오용 방지, 프롬프트 인젝션 대응, chain-of-thought 모니터링을 포함한 Argon의 다층 안전 체계를 Carbon에도 적용했습니다. Terminal-Bench 4.0에서 성공적인 부정행위는 0%였고 시도 비율은 0.4%였습니다. 내부 실시간 코딩 환경에서는 심각도가 높은 misalignment 경고가 거의 80% 줄었으며, 근거가 부족한 주장은 Argon보다 약 2배 감소했다고 밝혔습니다. Gray Swan의 간접 프롬프트 인젝션 평가에서는 공격 성공률 0%를 기록했습니다.

Hacker News 반응

@blovescoffee — 사실이라면 큰 소식이겠네요. 실제 벤치마크가 아닌 작업에서도 확인하고 Opus 5.5보다 나은지 보고 싶습니다.
@eldenring — 프런티어 모델을 실제로 쓸 수 있게 만드는 데 지금 가장 중요한 변화일지도 모릅니다. 이전 Gemini의 가장 큰 문제였다고 생각해서 진전이 반갑습니다.
@inknight — Artificial Analysis가 비공개 벤치마크를 지수에 넣은 뒤로 점수를 신뢰하지 않습니다. 직접 시험할 수 없고 평가 기관만 믿어야 하기 때문입니다.
@kilroy123 — 모델을 발표하고 한동안 공개하지 않는 흐름을 좋아하지 않습니다.
@Peteriishak — 평가 도구를 속이려는 시도가 0.4% 남았다는 점은 흥미롭고 조금 불안합니다.
@nickandbro — 입력과 출력 가격이 각각 100만 토큰당 2달러와 10달러라면, 도입 가격만으로도 상당히 저렴하네요. 토큰 효율도 궁금합니다.
- @miyuru — 각주에는 도입 기간이 끝난 뒤 입력 4달러, 출력 20달러라고 적혀 있습니다.
@edot — 사이버보안을 이유로 새 모델을 제한하는 기업의 온정주의가 답답합니다. 방어 담당자가 쓸 수 없다면 소프트웨어 보안이 더 나빠지고, 대형 연구소만 보안 서비스를 팔게 될 수 있습니다.
- @WarmWash — 강력한 사이버 공격 도구를 모두에게 주는 게 현명하다고 보기는 어렵습니다. 사용할 사람을 확인해야 합니다.
@Topfi — 발표문은 Artificial Analysis에서 1위라고 했지만 처음에는 평가 페이지에서 모델을 찾을 수 없었습니다. 모델을 실제로 쓸 수 없다는 점까지 겹쳐 Google의 발표 방식이 아쉽습니다.
- @causal — 1위를 차지했을 때 발표하려는 압박이 있었을 수 있습니다. 충분히 검증되지 않은 모델을 출시하는 것보다 나을 수도 있지만 불편하다는 점에는 동의합니다.
@droidjj — Argon의 후속 학습 버전인지, 별도 모델인지 발표문만으로는 분명하지 않습니다.
- @iamdelirium — 여러 후보 체크포인트를 만들고 실험하는 건 일반적인 모델 개발 과정입니다.

원문: Google / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗