Livenerf: Opus 5.5 성능 저하 여부를 매일 측정합니다
Livenerf는 모델 출시 뒤 성능이 조용히 낮아지는지 확인하려고 Claude Opus 5.5를 30일간 추적하는 벤치마크입니다. 고정한 질문과 채점기, 사전 등록한 통계 기준을 사용해 일화 대신 성능·출력 토큰 변화를 측정합니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
NVIDIA, 경시 프로그래밍 특화 Nemotron 모델 공개
NVIDIA가 경시 프로그래밍과 알고리즘 문제 풀이에 맞춘 550B 파라미터 모델 Nemotron-Labs-3-Competitive-Coding을 공개했습니다. GLM-5.2가 만든 추론 데이터로 한 차례 미세조정하고 GenCorrect를 결합해 IOI 2026 실전 평가에서 535.4점을 기록했지만, 이 성적은 모델 단독이 아니라 반복 생성·평가 절차를 함께 적용한 결과입니다.
세어 줄까, 직접 셀까: 도구가 행을 반환할 때 정확히 세는 모델은 토큰을 더 씁니다
Kaggle 벤치마크에서 모델 10종에 같은 집계 질문을 던지고, 도구가 정답 숫자와 데이터 행 중 무엇을 반환하는지 비교했습니다. 행을 직접 세게 하자 모델 간 정확도 차이가 컸고, 도구가 집계를 맡으면 대부분의 모델이 더 적은 토큰으로 정답을 냈습니다.
Chain-of-Thought 충실도 측정 — 추론 모드를 켜자 자기 오류를 따를 가능성이 5배 높아졌습니다
모델의 Chain-of-Thought에 잘못된 중간 단계를 넣고 최종 답변이 그 오류를 따르는지 15개 문제로 측정했습니다. Grok 4.20은 추론 모드를 켰을 때 오류 추종이 2/15에서 11/15로 늘었지만, 표본이 작아 다른 모델과 추가 검증이 필요합니다.
GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기
Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.
Gemma 4 추론에서 4GB 노트북 GPU와 6코어 CPU 비교 — ABBA 재측정 결과 4.1배
같은 노트북에서 llama.cpp로 Gemma 4 E2B를 실행해 GTX 1650 Ti와 i7-10750H를 비교했습니다. GPU는 디코딩에서 4.14배, 프리필에서 3.42배 빨랐으며, ABBA 순서 측정으로 발열에 따른 측정 오차도 확인했습니다.
Mercury 2.5, 초당 770토큰 생성
Inception의 Mercury 2.5는 출력 속도 780.8토큰/초를 기록했지만, Artificial Analysis Intelligence Index 점수는 12로 비슷한 가격대 추론 모델의 중앙값과 같습니다. Hacker News에서는 빠른 응답이 유용한 작업이 있다는 의견과, 품질이 낮으면 속도와 가격의 이점도 제한적이라는 지적이 맞섰습니다.
Show HN: 타입 지정 의사결정 모델을 위한 재현 가능한 벤치마크, JevBench
JevBench는 상태와 제한된 평가 기준을 입력받아 구조화된 답을 내는 Jev 계열 모델을 정확도·보정·속도·비용으로 비교합니다. 534개 결정 과제를 같은 조건에서 측정한 v1.3.0 결과와 점수 산정 규칙을 공개해, 모델 선택 시 성능과 운영 비용을 함께 살피게 합니다.
Brood War Bench — 에이전트는 스타크래프트를 어디까지 플레이할 수 있나
Brood War를 에이전트만으로 플레이하게 만든 환경에서 19개 모델·추론 설정을 라운드 로빈 방식으로 대결시켰습니다. Codex Astra가 18승 무패로 1위를 차지했지만, 모든 모델은 여전히 초보자 수준을 넘지 못했습니다.
M5 Ultra와 M6 칩의 벤치마크가 그래픽 성능을 보여줍니다
Apple의 M5 Ultra는 Geekbench 7 Metal에서 M3 Ultra 평균보다 최대 59% 높은 366,744점을 기록했고, OpenCL 성능은 NVIDIA GeForce RTX 4080에 근접합니다. M6도 M5 평균보다 최대 34% 높은 93,217점을 기록했습니다.
GPT-6 Astra, Portal·Baba Is You 등 퍼즐 게임을 풀어내다
Quesma가 GPT-6 Astra의 퍼즐 해결 능력을 검증한 결과를 공개했습니다. Astra는 ARC-AGI-3에서 표준 하네스로 63%, 커스텀 하네스로 99%를 기록했고, 인간 개입 없이 Portal을 23시간 43분 만에 클리어했으며, Baba Is You 장기 캠페인에서도 Claude Fable 5.1을 크게 앞섰습니다. 벤치마크 최적화가 아니라 일반화된 퍼즐 해결 능력일 가능성이 주목받고 있습니다.