Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다

AI 요약

StarSkirmish Bench는 LLM에 한 시간 동안 Protoss 대 Protoss용 C++ 봇을 작성하게 한 뒤, 완성된 봇이 기존 경쟁 봇을 상대로 거둔 승률을 측정합니다. v0.2에서는 OpenAI, Anthropic, Google, Meta의 모델을 각 회사 CLI 하네스에서 실행했습니다. Gemini 4 Argon은 지원하는 최고 추론 설정인 high를 사용했고 나머지 모델은 각자의 최고 설정을 사용했습니다. 모든 모델에 한 시간의 제한을 두고, 봇 다섯 개씩을 평가합니다.

실행과 평가 방식

모델은 채굴만 하는 기본 봇과 세 개의 데모 봇 소스 코드, 전투 시뮬레이터 FAP, 맵 분석 라이브러리 BWEM을 받습니다. 코드를 컴파일하고 연습 경기를 치른 뒤 경기 요약과 기록, 봇 로그를 확인할 수 있습니다. 연습 상대는 데모 봇 세 개로 구성된 D 티어부터 C, B, A, S 티어까지 나뉩니다. A 티어에는 BananaBrain과 Locutus가, S 티어에는 Stardust와 PurpleWave가 포함됩니다. 시간 종료 시 봇 폴더에 남은 코드가 최종 제출물이며, 컴파일 가능한 상태를 유지해야 합니다.

최종 봇은 경쟁 인간 제작 봇 10개와 데모 봇 3개를 상대로 각각 세 맵에서 여섯 번씩 경기합니다. 게임은 OpenBW에서 BWAPI 4.4.0으로 진행하며, Heartbreak Ridge, Benzene, Destination을 사용합니다. 60분 제한에 도달하면 BASIL 사다리 규칙에 따라 처치와 건물 파괴 점수의 합이 높은 쪽이 이깁니다. v0.2에서는 LLM끼리 서로 경기하지 않습니다. 모든 봇이 고정된 같은 상대 목록을 만나므로, 새 모델을 평가할 때 기존 모델 경기를 다시 치를 필요가 없고 세대별 점수도 비교하기 쉽다는 설명입니다.

점수와 연습 경기

GPT-6 Astra가 평균 승률 기준 1위, GPT-6.1 Sol이 2위입니다. Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37~39점으로 비슷한 구간에 있습니다. 비용 대비 점수에서는 GPT-6.1 Sol이 두드러집니다. 1위 GPT-6 Astra보다 한 번 실행하는 API 비용이 10분의 1을 조금 넘는 수준이면서 2위를 기록했습니다.

상위 인간 제작 봇 세 개 Stardust, PurpleWave, BananaBrain만 따로 보면 최고 점수 모델인 GPT-6 Astra의 승률도 7%입니다. 전체 평균 점수와 상위 봇 상대 성적은 다른 수준을 보여줍니다. 실행 기록을 분석한 결과, 점수와 가장 강한 상관을 보인 요인은 한 시간 동안 상위 7개 봇을 상대로 치른 연습 경기 횟수였습니다. GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 초반부터 강한 상대와 연습했지만 Muse Wonder Full, Claude Haiku 5.5, GPT-6 Luna는 강한 상대와 거의 연습하지 않았습니다. Claude Fable 5.1은 강한 상대와 거의 연습하지 않고도 37점을 기록한 예외입니다.

같은 모델도 실행마다 결과가 달랐습니다. Gemini 4 Argon은 최고와 최저 실행의 점수 차가 18점이었습니다. GPT-6 Astra는 9점, Claude Opus 5.5는 8점 차였습니다. 평가자는 모델별 다섯 번의 실행 평균과 표준편차를 함께 제시합니다.

벤치마크가 측정하는 범위

v0.1은 모든 모델을 같은 외부 하네스와 high 추론 설정으로 실행했지만, v0.2는 각 회사의 CLI와 최고 추론 설정을 사용합니다. 컨텍스트는 약 25만 토큰 부근에서 압축됩니다. 웹 검색과 웹 가져오기 기능은 꺼져 있고 인터넷에도 접근하지 못합니다. CLI 설치는 시간에 포함하지 않지만 모델이 작업을 시작한 순간부터 한 시간을 셉니다.

v0.2는 Elo 대신 고정된 상대 목록을 상대로 한 단순 승률을 씁니다. 평가자는 StarSkirmish 점수가 Artificial Analysis Intelligence Index와는 약한 상관관계만 보이며, v0.1에서 가까웠던 Terminal-Bench 4.0과도 차이가 생겼다고 설명합니다. 반면 C++ 올림피아드 문제를 다루는 Vals IOI와 특이한 기계학습 코딩 과제를 평가하는 WeirdML v3 점수는 StarSkirmish와 함께 움직입니다. 평가자는 널리 쓰이는 벤치마크에 맞춘 최적화가 진행된 반면 장시간 추론과 난도 높은 코딩을 요구하는 덜 표적화된 평가에서는 다른 능력이 드러날 가능성을 제시합니다.

Hacker News 반응

• @qsort — Astra가 50%를 넘는 게 믿기 어렵습니다. 평가 대상 봇을 상대로 연습할 수 있나요? 강한 봇을 상대하면 왜 한 자릿수 승률로 떨어지나요?
  • @__cayenne__ — 한 시간 안에 평가 대상 봇과 연습 경기를 할 수 있지만 상대의 소스 코드는 볼 수 없습니다. A, S 티어 봇은 전반적으로 더 어려워서 승률이 한 자릿수로 내려갑니다.
• @iugtmkbdfil834 — 이 벤치마크가 무엇을 평가하는지 잘 모르겠습니다. 코드 생성 속도, 논리 분석, 게임 플랫폼 이해, 전술과 전략이 모두 영향을 주는 듯합니다.
  • @NitpickLawyer — 통계와 승률처럼 확인하기 쉬운 결과를 통해 적응력과 과제 이해, 진행 능력을 모두 평가합니다.
  • @iugtmkbdfil834 — 모든 걸 측정한다면 각 요소가 어느 정도씩 반영되는지 알기 어렵다는 게 제 문제였습니다.
  • @robotresearcher — 회사 매출이나 차량 연비, 기대수명 같은 종합 지표도 내부 요인별 기여도를 나누지 않습니다. 사용자가 중요하게 여기는 결과를 나타냅니다.
  • @iugtmkbdfil834 — 그 비유를 듣고 생각이 바뀌었습니다. 반론을 거두겠습니다.
• @chis — 한 시간짜리 코드 생성 제한은 평가를 조금 모호하게 만듭니다. 성능이 공개된 최고의 스타크래프트 봇을 얼마나 기억해 재현하는지에 달릴 수도 있습니다.
  • @boxed — 그렇다면 모델은 형편없이 실패한 셈입니다. 기억에서 복사할 수 있는 인간 제작 봇을 상대로 승률이 7%라면 복사해 붙여 넣기만 해도 50%는 나와야 합니다.
  • @liuliu — 인간 제작 봇 코드가 학습 데이터에 들어갔을 가능성이 높으니 승률 해석이 잘 맞는지 살펴볼 필요가 있습니다.
  • @dgant — 상위 봇은 약 5만 줄입니다. 대형 LLM도 세상 모든 데이터를 통째로 기억할 만큼 크지 않으며, 압축 과정에서 사라지는 미세 조정이 코드 대부분을 차지합니다.
• @carychang — 성능 향상이 코딩 실력에서 온 것인지 더 나은 실험에서 온 것인지 궁금합니다. 보지 못한 맵과 상대에게도 전략이 통하는지 확인하면 좋겠습니다.
• @dgant — 봇을 프레임마다 모든 유닛에 명령하도록 만들면 APM은 쉽게 높일 수 있습니다. 병목은 실제로 좋은 판단을 내리는 일입니다.
• @djoldman — 모델 자체뿐 아니라 하네스, 허용 도구, 추론 설정에 따라 성능이 크게 달라질 수 있다는 점을 알게 됩니다. 웹 검색과 가져오기를 막았을 때 모델이 문서를 어떻게 참고하는지도 궁금합니다.
• @__cayenne__ — Protoss는 인간 제작 Brood War 봇 생태계가 가장 성숙한 종족입니다. BASIL 사다리 상위권에 Protoss가 많고 Protoss 대 Protoss로 한정하면 문제 범위도 줄어듭니다.

원문: StarSkirmish / 번역·요약: Trawling