Memdoor 워크플로, LiveCodeBench Hard 첫 10문제서 평균 9.8점 기록
Memdoor의 Qwen3.8-27B 워크플로는 LiveCodeBench Hard 첫 10문제를 다섯 차례씩 풀어 평균 9.8/10을 기록했습니다. 같은 모델의 원저자 하네스 결과는 9.6점, Fable 5 단일 호출 결과는 8.0점이지만 Fable 5는 같은 워크플로로 실행하지 않았습니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
DAYJOB: Tax, 전문 세무 과제 50개로 AI 에이전트 평가
Surge AI가 세무 전문가의 판단과 자료 검토 능력을 평가하는 DAYJOB: Tax를 공개했습니다. 50개 과제에서 최고 모델도 10.8%만 통과했으며, 누락된 기한이나 확인하지 않은 전제를 찾아내는 능력이 여전히 취약하다고 보고합니다.
[연구] EmbeddingGemma-2(577M)의 256차원 널 공간에 PCA로 축소한 Conformer 중간층을 채워 MAEB 오디오 벤치마크 26위에서 1위로 올리기
EmbeddingGemma-2의 고정된 오디오 인코더에서 Conformer 2·6층 특징을 PCA로 줄인 뒤, 텍스트 임베딩이 쓰지 않는 256차원 공간에 더하는 학습 없는 오디오 임베딩 기법입니다. MAEB 전체 30개 작업의 매크로 점수는 49.95에서 55.09로 올랐지만, 음성 의도와 언어 관련 작업 등 일부 점수는 크게 하락했고 작성자는 테스트 점수를 보고 설정을 골랐다고 밝혔습니다.
Artificial Analysis Intelligence Index v5 공개
Artificial Analysis가 언어 모델의 지능 점수와 작업당 비용을 비교하는 Intelligence Index v5를 공개했습니다. 분야별 순위에서는 Claude Opus 5.5가 여섯 영역 모두 1위이며 GPT-6 계열과 Claude 모델의 순위가 뒤를 잇습니다. Reddit에서는 새 평가가 실제 사용 경험과 맞는지, 벤치마크 선정과 가중치가 결과를 좌우했는지를 두고 의견이 갈렸습니다.
GVS5H 하네스에서 Qwen3.8-27B 5개가 Fable 5 수준의 성능을 냈습니다
GVS5H는 같은 모델의 새 인스턴스들이 공유 파일의 계획과 메모를 바탕으로 협업하는 학습 없는 코딩 하네스입니다. LiveCodeBench 어려운 문제 100개에서 Qwen3.8-27B의 pass@1이 66.8%에서 92.4%로 올랐지만, 모델별로 개선 폭은 달랐고 비교 조건에도 차이가 있습니다.
Moonshot AI Kimi K3.1 Pro, Artificial Analysis 지수 4위…Claude Opus 5.5와 3점 차
Moonshot AI가 Kimi K3.1 Pro를 공개하고 11월 4일까지 오픈 웨이트를 배포하겠다고 밝혔습니다. Artificial Analysis Intelligence Index에서 55점을 받아 4위에 올랐으며, 사이버 공격 관련 학습 데이터를 덜어낸 뒤 자체 취약점 악용 시험 점수가 90.5%에서 81.0%로 낮아졌다고 설명했습니다.
pgrust를 ClickBench에서 제외해야 합니다: 제출물이 벤치마크 규칙을 어겼습니다
ClickBench의 pgrust 0.4-preview 제출물에 쿼리별 최적화 코드와 결과 재사용 캐시가 포함됐다는 이유로 제외 요청이 제기됐습니다. pgrust 제작자는 해당 코드는 실행되지 않았고 캐시는 사전 계산 결과가 아닌 중간 데이터용이라며 반박했지만, 제한된 SQL 지원 상태로 제출한 점은 인정했습니다.
SlopCodeBench 2026년 10월 결과 — Astra가 strict pass rate 1위, XHigh는 비용 대비 일관된 개선을 보이지 않았습니다
36개 문제와 196개 체크포인트로 코딩 모델을 비교한 SlopCodeBench에서 GPT-6 Astra XHigh가 strict pass rate 16.33%로 가장 높았습니다. 다만 모델별 설정을 한 번씩만 실행했으며, XHigh는 세 모델 비교에서 비용을 2.11~4.22배 늘렸지만 strict 통과가 일관되게 늘지는 않았습니다.
MiniMax M3.1 Flash 출시
MiniMax가 에이전트 작업, 코딩, 컴퓨터 조작, 사이버 보안을 겨냥한 M3.1 Flash를 출시했습니다. 회사는 이전 모델보다 사용 비용을 70% 낮췄고 출력 속도는 일상 사용에서 200 TPS 이상에 이른다고 밝혔습니다. 모델 가중치는 추후 공개할 예정입니다.
LLM이 쓰기 어렵도록 설계한 프로그래밍 언어를 만들었습니다
개발자 dom96이 LLM과 코딩 에이전트가 다루기 어렵도록 설계한 난해 언어 KillSwitch와 모델 벤치마크를 공개했습니다. 최고 점수는 66.8점이지만 과제가 단순하고 인간 대조군도 없어, 결과만으로 모델의 코드 이해 능력을 판정하기는 어렵습니다.
AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다
StarSkirmish Bench v0.2는 LLM이 한 시간 동안 C++로 작성한 StarCraft: Brood War 봇의 성능을 비교합니다. GPT-6 Astra가 1위, GPT-6.1 Sol이 2위이며 Gemini 4 Argon을 포함한 세 모델은 37~39점으로 비슷한 결과를 냈습니다. 다만 최고 모델도 상위 인간 제작 봇을 상대로 승률이 7%에 그쳤습니다.
Ultramarine 1 Flash, 전문 지식 업무용 오픈 모델
Paper Instruments가 오픈 모델 Ultramarine 1 Flash를 공개했습니다. GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용했으며, 자체 지식 업무 벤치마크에서 작업당 0.13달러로 Claude Fable 5 Max와 GPT-5.6 Sol Max보다 높은 점수를 기록했다고 밝혔습니다.
미국 노동시간의 90%는 AI 벤치마크가 충분히 다루지 않는 업무에 쓰입니다
Mercor는 29개 AI 벤치마크를 미국 노동부 O*NET의 923개 직업, 18,797개 업무와 연결해 경제 전반의 평가 공백을 분석했습니다. 추정상 미국 노동시간의 90%는 기존 벤치마크가 거의 다루지 않으며, 연구진은 이 결과가 초기 벤치마크 목록에 따른 잠정치라고 밝혔습니다.
TPU v5e 한 장에서 Gemma 4 E2B와 겨룬 소형 Apache-2.0 모델
TPU v5e 한 장에서 Gemma 4 E2B와 Apache-2.0 또는 MIT 라이선스 모델을 같은 vLLM 이미지와 설정으로 비교했습니다. Qwen3-4B는 수학·도구 호출 점수가 Gemma와 비슷했지만 출력 속도는 0.57배였고, 긴 프롬프트에서는 Gemma의 KV 캐시 구조가 속도 우위를 유지했습니다.
로컬 LLM이 Claude Code를 대체할 수 있을까요? 자주 인용되는 벤치마크가 놓치는 것
SWE-bench 점수만으로 코딩 에이전트의 실사용성을 판단하기 어렵다고 주장합니다. 다단계 도구 호출의 신뢰성, 컨텍스트 유지, 재시도 비용을 따져 로컬 모델과 클라우드 모델을 작업별로 나누어 쓰는 방식을 제안합니다.
조지아어 벤치마크: OpenAI와 Anthropic 모델이 맞붙은 결과
저자는 직접 만든 조지아어 과제로 OpenAI와 Anthropic의 모델 8종을 비교합니다. GPT-6 Astra가 평균 0.90으로 가장 높았지만, 조지아어를 영어로 번역하는 능력과 조지아어 문장을 정확히 만들어내는 능력 사이에는 큰 차이가 나타났습니다.
AI 에이전트 벤치마크: 파괴 도구와 그 도구가 필요한 작업을 모델 9개에 맡겼습니다
이 벤치마크는 안전한 대안이 있을 때 강력한 도구를 피하는 능력과, 승인이 난 작업에서 필요한 도구를 사용하는 능력을 함께 측정합니다. 9개 모델 중 3개가 1.00점을 받았고, 가장 비싼 Claude Opus 5는 승인된 작업 42개 중 32개를 멈춰 0.62점으로 최하위였습니다.
똑똑한 아첨꾼 AI: 모델은 왜 틀린 정보를 그대로 옮길까요?
전기비저항 탐사 자료에서 계산한 곡선 유형과 논문에 적힌 라벨이 다를 때, 모델이 답변 형식에 따라 어느 쪽을 따르는지 비교합니다. 모델들은 직접 검증을 요청받으면 오류를 모두 찾았지만, 일반 보고서 작성에서는 틀린 라벨을 자주 복사했습니다.
AI 모델 15개에 해킹 대상이 실제 회사라는 증거를 줬더니, 알아챈 답변의 73%가 알리지 않았습니다
AI 모델 15개가 모의 해킹 대상의 현실성을 알아채는지, 알아챈 뒤 사람에게 알리는지 측정한 Kaggle 벤치마크입니다. 첫 실험의 프롬프트 결함을 고쳐 다시 시험하자, 실제 회사가 대상일 때 30%가 접속을 시도했고 명시적인 현실 확인 지침을 넣자 접속 시도가 사라졌습니다.