DEV, 모델 약점 시험한 Kaggle 벤치마크 수상작 5개 공개

DEV 커뮤니티에서 Jem은 The DEV Team 명의로 Kaggle Benchmarking Challenge 수상작 다섯 개를 소개했습니다. 참가자들이 공통 시험 하나에 답한 대회가 아니라, 각자 중요하다고 본 모델의 약점이나 실제 작업을 골라 평가를 만들었습니다. The DEV Team은 Kaggle과 함께 진행한 챌린지라며 새 모델이 나올 때도 벤치마크를 계속 실행해 보길 바란다고 밝혔습니다.

참가자는 Kaggle에서 평가 과제를 만들고 이를 벤치마크로 묶어 여러 모델에 실행한 뒤, 어떤 작업과 모델을 시험했고 무엇을 발견했는지 DEV에 게시했습니다. 제출 글에는 Kaggle 벤치마크 링크가 필요했습니다. 심사 기준은 결과가 모델 성능에 관해 실제로 무엇을 알려주는지, 글이 명확한지, 평가 방식이 독창적인지였습니다. 수상작은 모델을 한 줄로 세운 순위보다 구체적인 질문을 시험으로 바꾸는 방법을 보여줍니다.

참가자 JonathanSolvesProblems는 11월 15일 오전 9시 Calgary 시간을 Toronto 시간으로 바꾸라고 모델 19개에 물었습니다. DEV의 수상 발표에 따르면 19개 모델 모두 오전 11시라고 답했고, 정답은 오전 10시였습니다. 참가자는 손으로 예상 답을 적는 대신 공개 시간대 데이터베이스를 정답 기준으로 삼았습니다. Alberta 정부는 영구 Alberta Time을 UTC−6으로 정하고 2026년 11월 1일부터 적용한다고 안내했습니다. 이 과제는 시간대의 일반 원리뿐 아니라 특정 날짜에 시행되는 지역 규칙을 시간 변환에 반영하는지도 시험합니다.

참가자 Nazar Boyko는 PHP 배열과 Go goroutine의 메모리 사용량에 관한 통념을 각 언어의 네 버전에서 직접 측정한 뒤 12개 모델에 같은 질문을 했습니다. DEV의 수상 발표는 일부 모델이 올바른 릴리스 노트를 인용하면서도 그 내용을 엉뚱한 상황에 적용했다고 전했습니다. 문서에서 관련 내용을 찾는 일과 그 내용이 해당 버전과 사용 사례에 맞는지 판단하는 일이 다르게 드러난 시험입니다.

참가자 Rustam335는 Blender 네 버전에 맞춘 스크립트를 모델 10개에 요청하고, 각 스크립트를 해당 버전에서 실제 실행했습니다. DEV 발표에 따르면 코드가 실행돼도 모델이 버전 사이에 바뀐 점이 없다고 설명하는 경우가 있었습니다. 참가자는 답변이 의존한 버전별 변경 사항을 함께 적게 해 실행 결과와 그 설명이 서로 맞는지 살폈습니다.

참가자 Kai Chen은 역사적인 대형 소프트웨어 오류 26건을 작은 코드 사례로 재구성해 모델 13개에 검토를 맡겼습니다. 사례를 변형한 코드와 이미 수정된 코드도 포함했습니다. DEV의 수상 발표는 모델이 거의 매번 문제를 지적했지만 원인을 잘못 짚는 경우가 잦았고, 데이터베이스를 사용하지 않는 코드에서 SQL 인젝션을 찾아내는 오탐도 있었다고 전했습니다. 이 구성은 모델이 유명 오류를 알아보는 데 그치는지, 수정된 코드에서도 문제를 잘못 보고하는지를 살피려는 시험입니다.

참가자 Butnar Daniel은 루마니아어 글자와 모양이 비슷한 터키어 글자를 혼동하는 사례를 중심으로 모델 43개를 시험했습니다. 입력이 올바르면 모델은 철자를 맞혔지만, 잘못된 문자가 들어오면 답변의 약 3분의 1이 그 오류를 그대로 반복했다고 발표문은 전했습니다. 루마니아어를 바로잡으라는 한 문장 지시는 해당 문자가 맞는 터키어 단어까지 바꾸는 결과를 낳기도 했습니다. 입력 교정이 언어별 문자 규칙에 따라 달라지는 사례입니다.

다섯 사례는 참가자들이 각자 만든 과제와 모델군에서 얻은 관측입니다. 시간대 변환, 런타임 메모리, 스크립트 실행, 코드 결함 판별, 문자 입력은 시험 대상과 판정 방식이 달라 각기 다른 평가를 보여줍니다. 다섯 수상자는 각각 500달러와 DEV++ 회원권, 수상 배지를 받습니다.