Memdoor 워크플로, LiveCodeBench Hard 첫 10문제서 평균 9.8점 기록
Memdoor의 Qwen3.8-27B 워크플로는 LiveCodeBench Hard 첫 10문제를 다섯 차례씩 풀어 평균 9.8/10을 기록했습니다. 같은 모델의 원저자 하네스 결과는 9.6점, Fable 5 단일 호출 결과는 8.0점이지만 Fable 5는 같은 워크플로로 실행하지 않았습니다.
개발·오픈소스 · 최신기사
개발 도구와 언어, 웹 기술과 오픈소스 프로젝트의 변화를 다룹니다.
GVS5H 하네스에서 Qwen3.8-27B 5개가 Fable 5 수준의 성능을 냈습니다
GVS5H는 같은 모델의 새 인스턴스들이 공유 파일의 계획과 메모를 바탕으로 협업하는 학습 없는 코딩 하네스입니다. LiveCodeBench 어려운 문제 100개에서 Qwen3.8-27B의 pass@1이 66.8%에서 92.4%로 올랐지만, 모델별로 개선 폭은 달랐고 비교 조건에도 차이가 있습니다.
Moonshot AI Kimi K3.1 Pro, Artificial Analysis 지수 4위…Claude Opus 5.5와 3점 차
Moonshot AI가 Kimi K3.1 Pro를 공개하고 11월 4일까지 오픈 웨이트를 배포하겠다고 밝혔습니다. Artificial Analysis Intelligence Index에서 55점을 받아 4위에 올랐으며, 사이버 공격 관련 학습 데이터를 덜어낸 뒤 자체 취약점 악용 시험 점수가 90.5%에서 81.0%로 낮아졌다고 설명했습니다.
SlopCodeBench 2026년 10월 결과 — Astra가 strict pass rate 1위, XHigh는 비용 대비 일관된 개선을 보이지 않았습니다
36개 문제와 196개 체크포인트로 코딩 모델을 비교한 SlopCodeBench에서 GPT-6 Astra XHigh가 strict pass rate 16.33%로 가장 높았습니다. 다만 모델별 설정을 한 번씩만 실행했으며, XHigh는 세 모델 비교에서 비용을 2.11~4.22배 늘렸지만 strict 통과가 일관되게 늘지는 않았습니다.
MiniMax M3.1 Flash 출시
MiniMax가 에이전트 작업, 코딩, 컴퓨터 조작, 사이버 보안을 겨냥한 M3.1 Flash를 출시했습니다. 회사는 이전 모델보다 사용 비용을 70% 낮췄고 출력 속도는 일상 사용에서 200 TPS 이상에 이른다고 밝혔습니다. 모델 가중치는 추후 공개할 예정입니다.
AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다
StarSkirmish Bench v0.2는 LLM이 한 시간 동안 C++로 작성한 StarCraft: Brood War 봇의 성능을 비교합니다. GPT-6 Astra가 1위, GPT-6.1 Sol이 2위이며 Gemini 4 Argon을 포함한 세 모델은 37~39점으로 비슷한 결과를 냈습니다. 다만 최고 모델도 상위 인간 제작 봇을 상대로 승률이 7%에 그쳤습니다.
Ultramarine 1 Flash, 전문 지식 업무용 오픈 모델
Paper Instruments가 오픈 모델 Ultramarine 1 Flash를 공개했습니다. GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용했으며, 자체 지식 업무 벤치마크에서 작업당 0.13달러로 Claude Fable 5 Max와 GPT-5.6 Sol Max보다 높은 점수를 기록했다고 밝혔습니다.
로컬 LLM이 Claude Code를 대체할 수 있을까요? 자주 인용되는 벤치마크가 놓치는 것
SWE-bench 점수만으로 코딩 에이전트의 실사용성을 판단하기 어렵다고 주장합니다. 다단계 도구 호출의 신뢰성, 컨텍스트 유지, 재시도 비용을 따져 로컬 모델과 클라우드 모델을 작업별로 나누어 쓰는 방식을 제안합니다.
조지아어 벤치마크: OpenAI와 Anthropic 모델이 맞붙은 결과
저자는 직접 만든 조지아어 과제로 OpenAI와 Anthropic의 모델 8종을 비교합니다. GPT-6 Astra가 평균 0.90으로 가장 높았지만, 조지아어를 영어로 번역하는 능력과 조지아어 문장을 정확히 만들어내는 능력 사이에는 큰 차이가 나타났습니다.
AI 에이전트 벤치마크: 파괴 도구와 그 도구가 필요한 작업을 모델 9개에 맡겼습니다
이 벤치마크는 안전한 대안이 있을 때 강력한 도구를 피하는 능력과, 승인이 난 작업에서 필요한 도구를 사용하는 능력을 함께 측정합니다. 9개 모델 중 3개가 1.00점을 받았고, 가장 비싼 Claude Opus 5는 승인된 작업 42개 중 32개를 멈춰 0.62점으로 최하위였습니다.
Livenerf: Opus 5.5 성능 저하 여부를 매일 측정합니다
Livenerf는 모델 출시 뒤 성능이 조용히 낮아지는지 확인하려고 Claude Opus 5.5를 30일간 추적하는 벤치마크입니다. 고정한 질문과 채점기, 사전 등록한 통계 기준을 사용해 일화 대신 성능·출력 토큰 변화를 측정합니다.
NVIDIA, 경시 프로그래밍 특화 Nemotron 모델 공개
NVIDIA가 경시 프로그래밍과 알고리즘 문제 풀이에 맞춘 550B 파라미터 모델 Nemotron-Labs-3-Competitive-Coding을 공개했습니다. GLM-5.2가 만든 추론 데이터로 한 차례 미세조정하고 GenCorrect를 결합해 IOI 2026 실전 평가에서 535.4점을 기록했지만, 이 성적은 모델 단독이 아니라 반복 생성·평가 절차를 함께 적용한 결과입니다.
세어 줄까, 직접 셀까: 도구가 행을 반환할 때 정확히 세는 모델은 토큰을 더 씁니다
Kaggle 벤치마크에서 모델 10종에 같은 집계 질문을 던지고, 도구가 정답 숫자와 데이터 행 중 무엇을 반환하는지 비교했습니다. 행을 직접 세게 하자 모델 간 정확도 차이가 컸고, 도구가 집계를 맡으면 대부분의 모델이 더 적은 토큰으로 정답을 냈습니다.
Chain-of-Thought 충실도 측정 — 추론 모드를 켜자 자기 오류를 따를 가능성이 5배 높아졌습니다
모델의 Chain-of-Thought에 잘못된 중간 단계를 넣고 최종 답변이 그 오류를 따르는지 15개 문제로 측정했습니다. Grok 4.20은 추론 모드를 켰을 때 오류 추종이 2/15에서 11/15로 늘었지만, 표본이 작아 다른 모델과 추가 검증이 필요합니다.
GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기
Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.
Show HN: 타입 지정 의사결정 모델을 위한 재현 가능한 벤치마크, JevBench
JevBench는 상태와 제한된 평가 기준을 입력받아 구조화된 답을 내는 Jev 계열 모델을 정확도·보정·속도·비용으로 비교합니다. 534개 결정 과제를 같은 조건에서 측정한 v1.3.0 결과와 점수 산정 규칙을 공개해, 모델 선택 시 성능과 운영 비용을 함께 살피게 합니다.