AutoTrust, 최대 256개 선택지를 한 번에 처리하는 JEV-35B 공개

AI 요약

AutoTrust AI가 의사결정 전용 오픈 웨이트 모델 JEV-35B를 공개했습니다. Qwen3.5-35B-A3B를 기반으로 하며 전체 파라미터는 350억 개, 토큰마다 활성화되는 파라미터는 약 30억 개입니다. 일반적인 대화나 문장 생성 대신 선택, 예·아니요 판정, 0~5 점수화에 맞췄습니다. System 1 방식으로 추론을 끄고 한 번에 최대 256개 선택지를 비교합니다.

평가 결과

Decision Index 0.3 공개 평가에서 JEV-35B는 59.73점을 기록했습니다. 비교 대상 JEV-27B-VL의 공개 점수 53.64보다 높지만, 두 수치는 동일한 방식으로 산출한 공식 순위표 점수가 아닙니다. JEV-35B는 공개 평가 도구로 AutoTrust가 직접 채점했으며, 순위표의 전체 점수에는 운영자만 실행하는 비공개 테스트가 80% 반영됩니다. 모델은 공개 평가 요청 140,178건을 모두 오류 없이 처리했습니다.

다섯 평가 영역 모두에서 JEV-35B 점수가 높았고, 37개 벤치마크 중 24개에서 앞섰습니다. 도구·자동화 점수는 0.764, 검색·분류는 0.710, 언어 이해는 0.632입니다. 특히 PhishNChips에서 42.2점, HoVer에서 28.4점, Habermas Machine에서 28.1점 앞섰습니다. 반대로 GSM8K에서는 JEV-27B-VL이 18.2점, ANLI에서는 11.4점 높았습니다. 지식·추론은 JEV-35B의 약점으로 꼽힙니다. GPQA는 0.360, MMLU-Pro는 0.642였고 HLE는 우연 수준보다 낮았습니다.

비전 점수 71.94는 공식 점수가 아니라 공개 데이터셋을 다시 구성해 계산한 추정치입니다. 같은 방식으로 측정한 JEV-27B-VL은 71.67을 기록했습니다. 두 모델 차이는 통계적 잡음 범위에 들었으며, 유의미한 차이는 유해 콘텐츠 분류에서 JEV-35B가 10.4점 앞선 결과였습니다.

속도와 실제 작업

B200 한 장에서 vLLM으로 순차 요청을 보낸 지연 시간 중앙값은 전체 204ms입니다. JEV-27B-VL의 같은 조건 측정값은 271ms였습니다. 브라우저 작업에서는 화면 요소에 글자가 함께 제공될 때 두 모델 모두 60개 작업 중 95%를 완료했습니다. 번호 상자와 화면만 주는 조건에서는 JEV-35B가 38%, JEV-27B-VL이 10%를 기록했습니다. 로봇 팔 집기 작업 성공률은 두 모델 모두 20개 장면 중 75%였습니다. 반면 모터 동작 8개 중 하나를 직접 고르는 작업에서는 모두 실패했습니다. 순차 게임 성적도 대체로 JEV-27B-VL보다 낮았습니다.

배포와 제한

기본 BF16 모델은 다운로드 72GB, 가중치 메모리 약 66.5GiB가 필요해 80GB 이상 GPU를 권장합니다. 별도 NVFP4 버전은 다운로드 25.6GB, 가중치 메모리 23.3GiB로 32~48GB GPU에서 실행하도록 설계했습니다. NVFP4의 공개 Decision Index 점수는 59.18, 비전 재구성 점수는 71.23입니다. BF16 답변과 96.6%가 같았고 지연 시간은 동일했다고 보고합니다.

제공되는 serve.sh는 vLLM 서버에 POST /v1/decide 경로를 추가합니다. 응답에는 선택지, 확률, 선택값과 선택 인덱스가 포함됩니다. 일반 채팅이나 텍스트 생성 모델이 아니며 영어 중심입니다. AutoTrust는 신뢰도 기준을 두지 않은 고위험 의사결정에 사용하지 말라고 안내합니다. 모델은 Apache-2.0 라이선스이며 Qwen3.5-35B-A3B를 미세 조정했습니다.

원문: Hugging Face / 번역·요약: Trawling