정확도 변화는 작게, 추론 토큰은 평균 38.9% 줄인 Gemma-4-26B-A4B

AI 요약

Bottlecap AI가 ThinkingCap 시리즈 다섯 번째 모델인 ThinkingCap-gemma-4-26B-A4B-it을 공개했습니다. Google의 Gemma-4-26B-A4B-it을 바탕으로 답변의 품질과 지시 이행 능력을 유지하면서 추론에 쓰는 토큰을 줄이는 것이 목표입니다. 모델은 26B 파라미터 규모의 sparse Mixture of Experts(MoE)이며 토큰당 약 4B 파라미터를 활성화합니다. ThinkingCap은 thinking을 켜고 temperature 1.0, top_p 0.95를 쓰는 Google 권장 설정을 그대로 유지합니다. vLLM에서 같은 설정과 평가 도구로 원본과 비교했으며, 제공자는 기존 모델을 대체해 쓸 수 있다고 설명합니다.

12개 벤치마크 결과

평균 thinking 토큰은 원본 8,773개에서 5,398개로 줄었습니다. 벤치마크별 감소율의 평균은 38.9%입니다. 토큰 수 자체의 평균을 서로 나눈 값은 38.5%이므로 두 수치는 집계 방식이 다릅니다. 감소 폭은 LongBench v2에서 69.1%, AA-LCR에서 59.3%, MMLU-Pro에서 49.1%로 컸습니다. IFBench는 13.7%, τ²-bench는 20.8% 감소해 상대적으로 작았습니다. 열두 벤치마크 모두에서 thinking 토큰 수가 줄었습니다.

평균 정확도는 원본 75.18%, ThinkingCap 75.03%로 0.15%포인트 낮아졌습니다. 제공자는 12개 중 8개에서 차이가 실행 간 변동폭보다 작았고, 5개에서는 점수가 올랐다고 밝혔습니다. 다만 네 벤치마크의 차이는 신뢰구간 범위를 넘어섰습니다. IFBench는 1.83%포인트 올랐고 GPQA-Diamond는 0.96%포인트, MMMLU는 0.66%포인트, AA-LCR은 4.00%포인트 낮아졌습니다. 제공자는 AA-LCR을 이 평가에서 실제로 확인된 주요 정확도 손실로 꼽습니다. ThinkingCap은 원본보다 응답이 반복되는 비율도 낮았습니다. 평균 looping 비율은 3.64%에서 0.76%로, thinking이 끝나지 않아 잘린 응답 비율은 4.35%에서 0.72%로 감소했습니다.

평가 방법과 범위

응답당 생성 한도는 모든 벤치마크에서 65,536토큰이며 τ²-bench에서는 턴마다 같은 한도를 적용했습니다. 정확도는 여러 seed 결과의 평균이고, 95% 신뢰구간은 seed가 달라질 때 생기는 변동을 나타냅니다. AIME 2026, HMMT 두 세트에는 각각 64개 seed를 사용했고 GPQA-Diamond와 LiveCodeBench에는 32개를 사용했습니다. 나머지는 벤치마크별로 4~16개 seed를 사용했습니다. 질문 수는 MMLU-Pro 12,032개, MMMLU 9,996개부터 수학 평가 30~33개까지 다양합니다. 평가는 exact match를 기본으로 하며 LiveCodeBench는 생성 코드를 테스트하고, IFBench는 프로그램 검증기를 씁니다. τ²-bench와 AA-LCR은 별도 판정을 사용합니다. τ²-bench는 시뮬레이션 사용자와 상호작용하며 세 영역의 점수를 동일한 비중으로 평균 냅니다. 제공자는 동일한 질문과 평가 설정으로 원본 BF16 모델도 직접 측정했습니다.

Hacker News 반응

• @PaulKeeble — Qwen-3.8 27B용 ThinkingCap과 Swift 모델을 써봤는데, 원본보다 똑똑하고 유능하다는 느낌은 없었습니다. 같은 과제 결과도 덜 인상적이었습니다. 토큰을 아끼는 만큼 충분히 가치가 있을 수도 있지만, 최고 성능을 원해서 xhigh를 쓰고 있었습니다. 이 모델도 이론상 벤치마크에서는 잘 나오지만 실제 과제에서는 비슷한 절충이 있을 것 같습니다.
  • @dofm — 저도 이 모델들이 별로라고 느꼈습니다. 하지만 Gemma 4 26B는 일반적인 대화 모델로 괜찮고 흔한 코드 질문도 나쁘지 않습니다. 에이전트형 코딩에는 그만큼 잘 맞지 않지만, 어떤 상황에서는 빠른 모델로 쓸 만할 수 있습니다. 직접 시험해볼지도 모르겠습니다.
• @syntaxing — Qwen 27B ThinkingCap을 약 2주 써봤습니다. 기본 27B보다 확실히 어리석은 행동을 하지만 차이가 아주 크지는 않았습니다. Swift 1.5는 눈에 띄게 성능이 낮아 하루 만에 사용을 그만뒀습니다. ThinkingCap은 기본 모델보다 검열이 심한 점도 이상했습니다.
• @arjie — 작은 모델은 모델 파라미터 안에서 하던 계산을 추론 시점으로 옮기는 것 같습니다. 모델 안에서 계산하지 않는 대신 반복 토큰으로 계산하므로 과제의 난도는 그대로 남습니다. 그래서 작은 MoE가 높은 토큰 처리량을 보여도 결과가 그만큼 좋지는 않을 수 있습니다.
  • @jacquesm — 그래서 저는 모델을 비교할 때 같은 전력 소비에서 실제 소요 시간을 비교합니다. 그게 가장 공정한 비교라고 생각합니다.
• @mehdi_zare — 코드 리뷰에서는 비용 대부분이 추론 토큰에서 나옵니다. 제게는 점수가 조금 오르는 것보다 정확도를 유지하면서 추론이 짧아지는 편이 중요합니다.
• @yieldcrv — 추론 엔진과 평가 도구의 개선만으로도 초당 토큰 수를 1.5배 이상 높일 수 있습니다. 자기 하드웨어에서 돌린다면 토큰을 줄이기보다 결과를 빨리 받는 방법이 필요할 수도 있습니다.
• @jacquesm — 오픈 웨이트 모델을 가져와 조금 수정한 뒤 결과물을 공개하지 않는 회사 방식이 마음에 들지 않습니다. 원 모델 제작사가 이런 관행을 막도록 라이선스를 바꾸길 바랍니다.
  • @kadoban — Hugging Face에서 모델을 받을 수 있었습니다. 오픈 모델을 바탕으로 개선하는 일은 환영할 만합니다. 원 제작사가 할 시간이 없던 개선 작업을 누군가 할 여지가 많습니다.
  • @simcop2387 — 제가 확인했을 때 해당 모델은 Hugging Face에 올라온 지 12시간이라고 표시됐습니다.

원문: Bottlecap AI / 번역·요약: Trawling