조지아어 벤치마크: OpenAI와 Anthropic 모델이 맞붙은 결과

AI 요약

저자는 Kaggle Benchmarking Challenge에 참여하며 조지아어를 이해하고 정확히 생성하는 능력을 평가하는 벤치마크를 만들었습니다. 모든 데이터는 기계 번역이나 생성 모델 없이 직접 작성했고, 언어 전문가의 검토도 거쳤습니다. 처음에는 9개 영역에서 41개 모델을 비교하려 했지만, Kaggle의 무료 크레딧이 하루 10달러로 제한돼 범위를 줄였습니다. 최종 비교에는 OpenAI와 Anthropic 모델 8종, 5개 과제가 포함됐습니다.

다섯 가지 평가 과제

숫자 과제는 조지아어의 20진법 수 표현을 비롯해 서수, 분수, 소수와 10³⁹까지의 큰 수를 다룹니다. 동사 과제는 동작의 주체와 대상, 시제에 맞는 형태, 접두사를 평가합니다. 번역 과제에서는 조지아어 문단 12개를 영어로 옮기고, Gemini 3 Flash가 의미를 기준으로 0~4점으로 채점합니다. 빈칸 채우기는 두 글의 50개 빈칸에 알맞은 단어와 문법 형태를 넣게 합니다. 문장 교정은 문법·철자·문장부호 오류를 고치되, 이미 맞는 표현을 바꾸면 감점합니다. 오류를 얼마나 줄였는지 계산해 부분 점수를 줍니다.

원래 데이터에서 모델을 구분하기 어려운 쉬운 항목을 덜어내고 과제를 축소했습니다. 숫자는 186개 행 중 82개 행, 동사는 115개 중 50개, 번역은 47개 문단 중 12개, 교정은 51개 문단 중 17개를 남겼습니다. 빈칸 채우기는 두 글 모두 유지했습니다. 모델마다 채점 항목은 287개입니다. 저자는 이 구성이 일부러 어려운 과제를 중심으로 삼았으므로 절대 점수보다 모델 간 순위에 의미가 있다고 설명합니다.

비용과 비교 조건

Kaggle은 각 호출에 실제로 들 비용이 아니라 최대 출력 길이를 기준으로 크레딧을 먼저 예약합니다. 저자는 출력 토큰 한도를 조절하고 동시 호출을 두 개로 제한했습니다. 호출 실패를 오답으로 처리하면 예산이나 API 문제를 모델의 낮은 성능으로 오인할 수 있어, 실패율이 5%를 넘으면 점수를 내지 않도록 했습니다. 재시도는 항목마다 최대 세 번 적용했습니다.

비교에서는 모델 모두 추론을 끄고 답하도록 설정했습니다. 다만 GPT-6 Astra가 추론을 끌 수 없어, 최신 모델끼리 비교하는 Claude Opus 5와 GPT-6 Astra 조합은 두 모델 모두 낮은 추론 수준(low)으로 실행했습니다. 이 예외는 결과표에서도 별도로 표시했습니다. 번역 채점에는 평가 대상이 아닌 Gemini 3 Flash를 고정 심판으로 사용했습니다.

결과와 해석

모델별 평균 점수는 Claude Haiku 4.5가 0.48, GPT-5.4 mini가 0.60, Claude Sonnet 4.6이 0.62, GPT-5.4가 0.71, Claude Opus 4.8이 0.75, GPT-5.5가 0.74였습니다. 낮은 추론 수준으로 실행한 최신 모델 쌍에서는 Claude Opus 5가 0.82, GPT-6 Astra가 0.90을 기록했습니다. 네 단계 중 세 단계에서는 OpenAI 모델이 앞섰고, 상위 모델 단계의 Claude 우위는 0.01점 차이였습니다.

번역 점수는 모든 모델이 0.96~1.00으로 높았습니다. 반면 조지아어 숫자·동사·문장 생성 과제에서는 점수가 크게 내려갔습니다. 숫자 과제는 8개 모델 중 6개에서 가장 어려운 과제였습니다. 특히 조지아어 서수를 숫자로 쓰는 항목의 점수 범위는 0.04~0.92였고, 10¹⁵~10³⁹의 큰 수는 0.06~0.53에 그쳤습니다. 저자는 번역을 잘하는 능력이 조지아어 문법에 맞춰 글을 생성하는 능력과 같지 않다고 설명합니다.

결과 해석에는 한계도 있습니다. 항목 수가 적은 과제가 있고, 모델마다 한 번씩만 실행했으며, 같은 모델의 재실행 점수는 과제별로 약 ±0.03 차이가 났습니다. 번역 점수는 심판 모델의 판단에 좌우됩니다. 또 Claude 모델은 같은 조지아어 입력에서도 GPT 모델보다 입력 토큰을 2~2.6배 사용했지만, 저자는 토크나이저뿐 아니라 출력 형식 지시문의 차이도 영향을 준다고 적었습니다. 전체 실험 비용은 13.84달러였고, Kaggle의 자동 실행 비용만 2.88달러였습니다.

dev.to 반응

• @sylwia-lask — 정말 멋진 글입니다! 조지아에 한 번 가봤는데, 조지아 문자와 발음은 정말 독특하더군요. 고대 악마 언어처럼 보이고 들립니다. 🤣 20진법 숫자 체계에도 깜짝 놀랐습니다. 벤치마크뿐 아니라 언어 자체가 무척 흥미롭네요. LLM이 조지아어 번역에도 여전히 어려움을 겪는다는 점도 흥미롭습니다. 아직 세상을 지배할 때는 아닌가 봅니다! 😂
  • @georgekobaidze — 조지아어를 읽거나 말하거나 쓸 줄 모르는 분에게는 완전히 다른 세계처럼 느껴질 수 있습니다. 엘프어 같은 느낌이죠. 😄 LLM도 쉽지 않았을 겁니다. 다만 제가 예상한 것보다는 결과가 좋았습니다. 추론을 켰다면 점수가 더 높았을 수 있지만, 그럴 시간은 없었습니다. 다음에는 해볼지도 모르겠습니다.
  • @georgekobaidze — 참고로 제가 언급한 게임 The Witcher는 폴란드 작가 Andrzej Sapkowski의 소설 시리즈를 바탕으로 했습니다. 게임도 제가 가장 좋아하는 작품 중 하나이고, 언젠가 책도 읽을 생각입니다. 개발사 CD Projekt Red도 폴란드 회사입니다. Cyberpunk 2077도 만들었는데, 프로젝트를 디자인할 때 영감을 받는 작품입니다. 작은 세상이네요. 😄
• @natkhat_baby_7f16e4d2b630 — 네 번째 발견은 발표 자료에 넣을 만합니다. 같은 조지아어 입력인데 Claude가 입력 토큰을 2~2.6배 더 씁니다. 한계 설명에 토크나이저뿐 아니라 형식 지시문도 차이를 만든다고 적으셨는데, 오히려 그 점이 후속 실험을 더 흥미롭게 만듭니다. 두 회사 토크나이저에 원시 프롬프트를 넣어 비교하면 차이를 ‘문자 토큰화’와 ‘지시문 오버헤드’로 나눌 수 있습니다. 그러면 저자원 언어를 다루는 개발자는 비용 요인을 직접 줄일 수 있는지, 모델에 내재된 요인인지 알 수 있습니다. 다섯 번째 발견에서 정답당 비용으로 순위가 달라지니, 토큰 분석으로 그 이유도 설명할 수 있겠습니다.
• @humam_moin — 정말 좋은 글입니다. 한쪽 눈을 가린 채 어떻게 이걸 끝내셨는지 모르겠습니다. 조지아어 숫자가 10³⁹까지 올라가는데도 모델이 서수를 틀린다는 점이 놀라웠습니다. 데이터 항목 하나하나를 직접 썼다는 사실도 대단합니다. 존경합니다.
  • @georgekobaidze — 정말 감사합니다. 확실히 쉽지는 않았습니다. 그래도 충분히 열심히 하고 꾸준히 매달리면 해낼 수 있었습니다. 🔥
• @nyaomaru — 먼저 해적 모습이 꽤 잘 어울립니다, 캡틴 Giorgi! 😹 눈이 빨리 회복되고 완전히 괜찮아지길 바랍니다. 이 벤치마크도 정말 재미있게 봤습니다. GPT-6 Astra와 Claude Opus 5를 추론을 끈 실행에 섞지 않고, 낮은 추론 수준의 별도 쌍으로 비교하는 등 공정성을 세심하게 챙긴 점이 특히 좋았습니다. 실패율이 높을 때 실행을 중단하는 것도 좋은 장치입니다. 인프라 문제를 조용히 모델 점수로 바꾸는 것보다 훨씬 낫습니다. 조지아어는 정말 어려워 보이네요. 😹 숫자 체계와 동사 형태만 봐도 보스전 같습니다. 한쪽 눈을 가린 채 해내시다니 정말 대단합니다! 🚀

원문: dev.to / 번역·요약: Trawling