Hacker News

GPT-6.1 Terra

GPT-6.1 Terra 출시

OpenAI가 시각 추론과 컴퓨터 조작, 기술 커뮤니케이션에 초점을 둔 GPT-6.1 Terra를 출시했습니다. API 가격은 GPT-5.6 Terra보다 50% 낮으며, 공개 벤치마크에서는 컴퓨터 사용과 코딩 성능 향상, 작업 비용 절감을 내세웠습니다. 다만 Hacker News에서는 벤치마크 선택과 코딩 성능, 모델 선택 기준을 두고 의견이 갈렸습니다.

에디터 노트

작업당 비용과 속도를 강조한 포지셔닝은 API 자동화 수요에 맞지만, 공개된 수치만으로 어떤 업무에서 Sol보다 유리한지 판단하기는 어렵습니다. 특히 Terminal-Bench 4.0에서는 최대 설정에서도 Terra가 Sol보다 낮은 성능을 보였다는 댓글이 있어, 코딩 성능을 앞세운 설명과 실제 선택 기준 사이에 간극이 있습니다. Hacker News에서는 벤치마크를 선별했다는 의심과 함께, 실제 서비스에서는 토큰 소비량과 지연 시간까지 포함한 작업당 비용이 중요하다는 반론도 나왔습니다. 둘은 서로 배타적이지 않습니다. OpenAI가 제시한 수치는 특정 평가에서의 비용 효율을 보여주지만, 전체 작업에서의 우위를 입증하지는 않습니다. 모델별 강점과 추론 설정을 실제 업무에 맞춰 비교할 자료가 있어야 Terra가 채울 자리를 독자가 판단할 수 있습니다.

AI 요약

OpenAI가 GPT-6.1 Terra를 ChatGPT Work와 Codex의 Plus, Pro, Enterprise, Edu 사용자 및 API 개발자에게 공개했습니다. API 모델명은 gpt-6.1-terra이며 가격은 입력 토큰 100만 개당 1달러, 캐시 입력 0.05달러, 출력 5달러입니다. GPT-5.6 Terra보다 표준 API 가격이 50% 낮고, OpenAI는 제안서 작성과 기술 도면 해석, 양식 입력, 영상 편집처럼 업무용 커뮤니케이션과 컴퓨터 조작을 겨냥한다고 설명합니다.

컴퓨터 사용과 시각 추론

Agents’ Last Exam에서 중간 추론 노력 설정의 GPT-6.1 Terra는 GPT-5.6 Terra보다 15%포인트 높은 점수를 기록했으며, OpenAI 추산 작업 비용은 약 3분의 1입니다. GPT-6 Astra와 성능이 비슷하면서 토큰 가격은 10분의 1이라고도 밝혔습니다. 최대 추론 설정에서는 Claude Opus 5.5보다 토큰 효율이 3배 이상 높고 토큰 가격은 4분의 1이라 작업당 비용이 약 9분의 1이라고 주장했습니다. 작업 완료 속도는 GPT-6 Astra와 GPT-6.1 Sol보다 3배 이상 빠르다고 했습니다.

시각 추론 벤치마크 MMMU-Pro에서는 모든 추론 설정에서 GPT-5.6 Terra를 앞섰고, OpenAI의 최상위 모델 GPT-6 Astra와 거의 비슷한 점수를 낮은 비용으로 냈다고 설명합니다. 데스크톱 앱에서 여러 단계를 수행하는 능력을 측정하는 OSWorld 2.1에서도 중간 설정 점수가 GPT-5.6 Terra의 최고 기록을 넘었다고 밝혔습니다.

사실성, 코딩, 안전성

OpenAI 내부의 오류 유발 프롬프트 평가에서 낮은 추론 설정의 오류율은 GPT-5.6 Terra의 53.6%에서 GPT-6.1 Terra의 16.7%로 내려갔습니다. 최대 설정에서는 오류율이 18%포인트 낮아진 4.3%로 GPT-6 Astra와 GPT-6.1 Sol에 가까웠다고 합니다. 커맨드라인 코딩 과제를 측정하는 Terminal-Bench 4.0에서는 최대 추론 설정의 과제 해결률이 50.3%로, GPT-5.6 Terra의 공개 점수 21.5%보다 두 배 이상 높았습니다. 다만 가장 복잡한 코딩 작업에는 GPT-6.1 Sol과 GPT-6 Astra가 더 적합하다고 OpenAI는 밝혔습니다. 과학 연구용 코딩 과제인 Terminal-Bench-Science 0.1에서는 최대 추론 설정이 GPT-6.1 Sol을 낮은 비용으로 앞섰고, Opus 5.5보다 5%포인트 이내의 점수를 5분의 1 미만의 추정 비용으로 냈다고 설명합니다.

OpenAI는 GPT-6.1 Terra가 사이버보안 Preparedness Framework의 Critical 기준을 충족하며 GPT-6 Astra의 보호 조치를 유지한다고 밝혔습니다. 사용자가 맡긴 범위를 벗어나지 않고 한계와 장애물을 알리는 능력도 GPT-5.6 Terra보다 나아졌으며, 프롬프트 인젝션 평가에서 악성 지시에 저항했다고 설명합니다.

Hacker News 반응

  • @A_D_E_P_T — 그래프가 사실이라면 훨씬 낮은 비용으로 GPT-6 Astra와 사실상 비슷하고 GPT-6.1 Sol과도 접전입니다.
    • @tristanj — Terra가 상대적으로 잘 나오는 벤치마크를 골랐을 수 있습니다. 요즘 모델 출시는 새 모델이 가장 잘하는 벤치마크를 골라 강조합니다. 전체 벤치마크 결과를 기다려야 더 잘 알 수 있습니다.
  • @user43928 — 첫 번째 그래프에서는 좋아 보이지만 Terminal-Bench 4.0에서는 좋지 않습니다. GPT-6.1 Sol에 근접하려면 xhigh 설정이 필요하고 비용도 더 들면서 결과는 조금 낮습니다.
  • @babelfish — 게시물의 벤치마크를 그대로 받아들이면 Terra는 Opus 5.5와 비슷한 수준을 4분의 1 가격에 냅니다.
    • @enraged_camel — 그렇지 않습니다. 최대 설정에서 Terminal-Bench 점수는 Terra가 50%이고 Opus 5.5는 70%입니다.
  • @entrope — OpenAI가 보고한 벤치마크를 그대로 받아들인다면, 왜 OSWorld에는 Opus 5.5를 싣지 않았고 사실 오류율 벤치마크에는 Anthropic 모델을 전혀 넣지 않았을까요?
  • @ComputerGuru — API를 기반으로 서비스를 만드는 곳에서는 작업당 비용이 실제로 중요한 지표입니다. 같은 작업에서도 모델에 따라 평균 토큰 사용량이 3배 이상 차이 나는 경우가 있습니다.
  • @Starlevel004 — Terminal-Bench 4.0 결과는 좋지 않습니다. Terra xhigh는 Sol low보다 비싸면서도 성능이 낮습니다.
    • @rockdoe — Terminal-Bench 4.0 점수가 낮은 이유가 부정행위를 덜 하기 때문일 수도 있습니다.
  • @wyre — 소프트웨어 개발자보다 컴퓨터 작업과 자동화, 기술 문서 작성이 GPT-6.1 Terra의 대상이라고 생각합니다.
  • @tedsanders — OpenAI 직원이라고 밝힌 댓글은 모델 성능이 여러 축으로 나뉜다고 설명합니다. 대체로 모델 규모가 클수록 성능과 신뢰도가 높고 토큰 가격도 비싸지만, 나중에 학습한 작은 모델이 이전의 큰 모델을 특정 작업에서 앞설 수 있습니다. Terra는 기술 커뮤니케이션에서 Astra와 Sol보다 나을 수 있고 시각·컴퓨터 조작은 비슷하면서 더 빠르며, 다른 작업 전반에서는 다소 뒤질 수 있다고 덧붙였습니다.
  • @lazharichir — 실제 데이터로 현실적인 평가 세트를 만들고 수작업으로 정답을 붙인 뒤, 고려 중인 모델들을 비교해야 합니다. 비용과 지연 시간도 함께 측정해야 합니다.
  • @simonw — Pelican SVG 비교에서 Terra의 none과 low 추론 설정은 추론 토큰을 쓰지 않은 듯했고, low가 none보다 토큰을 적게 써 비용도 낮았습니다. medium은 추론 토큰 496개를 썼지만 눈에 보이는 추론 기록은 나오지 않았습니다.

원문: OpenAI / 번역·요약: Trawling