GPT-6 Astra, Portal·Baba Is You 등 퍼즐 게임을 풀어내다

본문

Quesma 블로그가 GPT-6 Astra의 퍼즐 해결 능력을 다각도로 검증한 글입니다. Astra는 ARC-AGI-3에서 표준 에이전트 하네스로 63%, 커스텀 하네스로 99%를 기록했습니다. 같은 기준으로 전작인 GPT-5.6 Sol은 8%, Claude Opus 5는 30%에 그쳤습니다. 저자는 이것이 ARC-AGI-3에 특화된 벤치마킹(benchmaxxing)인지, 아니면 일반적인 퍼즐 해결 능력인지를 가리기 위해 실제 게임 테스트를 진행했습니다.

Portal과 Psyho의 평가

Astra는 3D 퍼즐 게임 Portal을 인간의 도움 없이 엔드투엔드로 클리어했고, 영상과 코드가 공개됐습니다. 실행에는 약 23시간 43분이 걸렸고, 토큰 사용량은 정가 기준 최소 570달러에 해당합니다. 다만 실행자인 cozyblaze는 200달러짜리 Codex 구독을 사용했습니다. 1년 전 OpenAI 모델을 이긴 유일한 인간이었던 Przemysław "Psyho" Dębiak은 이제 Astra에게 어려운 퍼즐을 찾기 힘들다고 말합니다. 그는 Astra가 "평균적인 인간 플레이어 이상"이며 "ARC-AGI-3 99%도 오히려 과소평가일 수 있다"고 평가했습니다. 그는 Astra+Codex 조합으로 약 30개의 마이너한 퍼즐 게임을 테스트했는데, 대부분 규칙 발견과 어려운 레벨, 미니멀한 디자인, 턴제·그리드 기반의 PuzzleScript 게임이었다고 합니다.

Baba Is Astra

이전 Baba Is Bench는 The Intro와 The Lake 등 초기 스테이지만 다루고 각 레벨을 별개로 취급했습니다. 이번에는 The Intro부터 Volcanic Cavern까지 첫 10개 월드의 154개 레벨을 제공하고, 텍스트 인터페이스를 쓰되 실제 게임처럼 레벨을 순차적으로 해금하는 방식으로 진행했습니다. 각 에이전트에는 6시간, 인터넷 없는 환경, 그리고 네이티브 하네스(GPT-6 Astra는 Codex, Claude Fable 5.1은 Claude Code)가 주어졌고 인사이트를 메모로 남길 수 있었습니다.

Fable 5.1은 33개 레벨을 풀고 The Lake와 Solitary Island 두 월드만 완료했습니다. 3시간이 지나자 열어둔 9개 레벨을 "해결 불가능(infeasible)"하다고 선언하고 시간을 절반 남긴 채 스스로 중단했는데, Astra는 그 9개 중 6개를 풀어냈습니다. 저자는 Fable의 결과가 초라해 보이지만, GPT-5.6 Sol이 The Lake 하나에 9시간 넘게 쓰고도 한 레벨을 남겼던 것과 비교하면 맥락이 다르다고 덧붙였습니다. 비용은 Fable이 OpenRouter 호출 단위로 청구되고, Astra는 Codex가 생성 ID를 로깅하지 않아 토큰 수로 추정했습니다.

데이터 오염 논쟁

Baba Is You는 공개 게임이므로 학습 데이터에 일부가 포함됐을 수 있다는 명백한 한계가 있습니다. 다만 에이전트 궤적에서 레벨 이름이나 기억된 해법을 언급한 흔적은 없었습니다. Astra의 추론은 Codex 로그에서 암호화되어 명령어만 확인 가능한데, 70개 레벨 중 7개를 되돌리기(undo) 없이 첫 시도에 해결했고, 그중 하나는 레벨을 처음 본 지 16초 만에 79수 시퀀스로 풀었습니다. 저자는 기억과 일반화 가능한 능력을 구분하는 유일한 방법은 다른 과제로 검증하는 것이라고 지적하며, 재현용 리포지토리와 Harbor 태스크(tasks_campaign/main-00-09)를 안내했습니다.

Baba Is You만이 아니다

같은 경향은 Sokoban 스타일 3D 미로인 MazeBench에서도 나타났습니다. Astra는 Python 없이 60시간 넘는 실행 끝에 14%를 기록해 Claude Fable 5.1의 2%를 앞섰습니다. 게임과 벤치마크 밖에서는 Fable 5.1이 Cyphral Distich를 해결했고, 저자는 Astra도 가능할 것으로 봤습니다.

다음 단계

Psyho는 X에서 ARC-AGI-3가 예상보다 빨리 포화되어 "ARC-AGI-4의 원래 구상이 완전히 폐기되고 곧바로 ARC-AGI-5로 간다"고 추측했습니다. 저자는 전문가가 풀 수 있는 모든 퍼즐(보안 잠금장치 포함)이 프론티어 AI 모델에게 쉽게 풀릴 수 있다는 함의를 짚으며, 뛰어난 인간은 풀 수 있지만 Astra와 Fable의 범위를 벗어나는 퍼즐을 아는 독자의 제보를 구했습니다.

Reddit 반응

• @u/presentofai — 이 스레드의 절반이 워크스루 재탕이라고 주장하는데, Baba Is You에는 레벨 에디터와 수천 개의 커뮤니티 레벨이 있으니 그걸로 돌려보면 어느 쪽이 맞는지 알 수 있다.
• @u/pvaa — 이 퍼즐들에 대한 토론이 인터넷에 다 있는데, 모델은 인터넷으로 학습했다.
• @u/cervicalgrdle — 모든 퍼즐을 무차별 대입으로 풀며 자주 실패하는 건지, 아니면 진행하면서 배우고 적용해 풀이 효율이 점점 좋아지는 건지 궁금하다.
• @u/clearlysnarky — Astra는 임의의 퍼즐 해결에서 진정으로 초인간적이다. LLM으로는 AGI가 안 나올 줄 알았는데, Astra 이후로는 1년 안에 진정한 AGI/ASI가 올 수도 있겠다 싶다. 정렬(alignment)은 해결과 거리가 먼데 무서운 시대다.
• @u/nona01 — putt.day(3D 골프 게임)에서는 잘 못 풀었다. AI가 작성해준 지침으로 Astra high를 시도해봤지만 성능이 안 나왔다.

원문: Quesma Blog / 번역·요약: Trawling