똑똑한 아첨꾼 AI: 모델은 왜 틀린 정보를 그대로 옮길까요?
전기비저항 탐사 자료에서 계산한 곡선 유형과 논문에 적힌 라벨이 다를 때, 모델이 답변 형식에 따라 어느 쪽을 따르는지 비교합니다. 모델들은 직접 검증을 요청받으면 오류를 모두 찾았지만, 일반 보고서 작성에서는 틀린 라벨을 자주 복사했습니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
AI 모델 15개에 해킹 대상이 실제 회사라는 증거를 줬더니, 알아챈 답변의 73%가 알리지 않았습니다
AI 모델 15개가 모의 해킹 대상의 현실성을 알아채는지, 알아챈 뒤 사람에게 알리는지 측정한 Kaggle 벤치마크입니다. 첫 실험의 프롬프트 결함을 고쳐 다시 시험하자, 실제 회사가 대상일 때 30%가 접속을 시도했고 명시적인 현실 확인 지침을 넣자 접속 시도가 사라졌습니다.
Livenerf: Opus 5.5 성능 저하 여부를 매일 측정합니다
Livenerf는 모델 출시 뒤 성능이 조용히 낮아지는지 확인하려고 Claude Opus 5.5를 30일간 추적하는 벤치마크입니다. 고정한 질문과 채점기, 사전 등록한 통계 기준을 사용해 일화 대신 성능·출력 토큰 변화를 측정합니다.
NVIDIA, 경시 프로그래밍 특화 Nemotron 모델 공개
NVIDIA가 경시 프로그래밍과 알고리즘 문제 풀이에 맞춘 550B 파라미터 모델 Nemotron-Labs-3-Competitive-Coding을 공개했습니다. GLM-5.2가 만든 추론 데이터로 한 차례 미세조정하고 GenCorrect를 결합해 IOI 2026 실전 평가에서 535.4점을 기록했지만, 이 성적은 모델 단독이 아니라 반복 생성·평가 절차를 함께 적용한 결과입니다.
세어 줄까, 직접 셀까: 도구가 행을 반환할 때 정확히 세는 모델은 토큰을 더 씁니다
Kaggle 벤치마크에서 모델 10종에 같은 집계 질문을 던지고, 도구가 정답 숫자와 데이터 행 중 무엇을 반환하는지 비교했습니다. 행을 직접 세게 하자 모델 간 정확도 차이가 컸고, 도구가 집계를 맡으면 대부분의 모델이 더 적은 토큰으로 정답을 냈습니다.
Chain-of-Thought 충실도 측정 — 추론 모드를 켜자 자기 오류를 따를 가능성이 5배 높아졌습니다
모델의 Chain-of-Thought에 잘못된 중간 단계를 넣고 최종 답변이 그 오류를 따르는지 15개 문제로 측정했습니다. Grok 4.20은 추론 모드를 켰을 때 오류 추종이 2/15에서 11/15로 늘었지만, 표본이 작아 다른 모델과 추가 검증이 필요합니다.
벤치마크 측정값의 잡음을 줄이는 서버 튜닝
같은 벤치마크도 CPU 스케줄링과 클록 변화에 따라 실행 시간이 달라집니다. 코어 고정, 주파수 governor 설정, SMT와 turbo 비활성화 순으로 서버를 조정해 변동계수(CV)를 2.72%에서 0.26%로 낮춘 과정을 보여줍니다.
GLM-5.3-Flash를 Jev식 의사결정 모델로 만들기
Privatemode는 GLM-5.3-Flash가 옵션별 확률을 한 번의 추론으로 출력하도록 프롬프트와 vLLM의 logprob 기능을 구성했습니다. 공개 데이터셋 28개에서 Jev와 비슷한 정확도를 보였고 독일에서 응답 속도도 더 빨랐지만, 결정 비용은 더 높고 미국에서는 Jev가 더 빨랐습니다.
Gemma 4 추론에서 4GB 노트북 GPU와 6코어 CPU 비교 — ABBA 재측정 결과 4.1배
같은 노트북에서 llama.cpp로 Gemma 4 E2B를 실행해 GTX 1650 Ti와 i7-10750H를 비교했습니다. GPU는 디코딩에서 4.14배, 프리필에서 3.42배 빨랐으며, ABBA 순서 측정으로 발열에 따른 측정 오차도 확인했습니다.
레이 트레이싱 벤치마크 Solar Bay Extreme에서 Apple A20 Pro가 Snapdragon 8 Elite Extreme Gen 6보다 38% 앞서
Qualcomm의 Snapdragon 8 Elite Extreme Gen 6과 Apple A20 Pro를 비교한 벤치마크에서 Snapdragon은 멀티코어와 3DMark 4종 중 3종에서 앞섰지만, 레이 트레이싱 부하가 큰 Solar Bay Extreme에서는 A20 Pro가 38% 높은 점수를 냈습니다. 테스트 기기가 Qualcomm의 비판매용 참고 기기였다는 점도 비교 결과를 볼 때 고려해야 합니다.
Mercury 2.5, 초당 770토큰 생성
Inception의 Mercury 2.5는 출력 속도 780.8토큰/초를 기록했지만, Artificial Analysis Intelligence Index 점수는 12로 비슷한 가격대 추론 모델의 중앙값과 같습니다. Hacker News에서는 빠른 응답이 유용한 작업이 있다는 의견과, 품질이 낮으면 속도와 가격의 이점도 제한적이라는 지적이 맞섰습니다.
Show HN: 타입 지정 의사결정 모델을 위한 재현 가능한 벤치마크, JevBench
JevBench는 상태와 제한된 평가 기준을 입력받아 구조화된 답을 내는 Jev 계열 모델을 정확도·보정·속도·비용으로 비교합니다. 534개 결정 과제를 같은 조건에서 측정한 v1.3.0 결과와 점수 산정 규칙을 공개해, 모델 선택 시 성능과 운영 비용을 함께 살피게 합니다.
AMD, EPYC ‘Venice’가 NVIDIA Vera보다 2.24배 빠르다고 주장
AMD는 백서에서 256코어 EPYC 9996 ‘Venice’가 NVIDIA의 88코어 Vera보다 SPECrate 2026 정수 성능이 2.24배 높다고 밝혔습니다. 다만 스레드 수와 컴파일러 버전이 달라 직접 비교하기 어렵고, 독립적인 실측 결과가 나오기 전까지는 AMD 측 추정치로 봐야 합니다.
Vivo는 벤치마크를 속이고 있나?
Notebookcheck이 Vivo X Fold6에서 일반 3DMark 앱과 이름을 바꾼 앱의 성능을 비교했습니다. 공식 앱 점수가 Steel Nomad에서 49.5%, Solar Bay Extreme에서 54.4% 높게 나오면서 벤치마크 전용 최적화 정황이 확인됐고, UL 규정 위반에 해당한다고 판단했습니다.
Brood War Bench — 에이전트는 스타크래프트를 어디까지 플레이할 수 있나
Brood War를 에이전트만으로 플레이하게 만든 환경에서 19개 모델·추론 설정을 라운드 로빈 방식으로 대결시켰습니다. Codex Astra가 18승 무패로 1위를 차지했지만, 모든 모델은 여전히 초보자 수준을 넘지 못했습니다.
M5 Ultra와 M6 칩의 벤치마크가 그래픽 성능을 보여줍니다
Apple의 M5 Ultra는 Geekbench 7 Metal에서 M3 Ultra 평균보다 최대 59% 높은 366,744점을 기록했고, OpenCL 성능은 NVIDIA GeForce RTX 4080에 근접합니다. M6도 M5 평균보다 최대 34% 높은 93,217점을 기록했습니다.
GPT-6 Astra, Portal·Baba Is You 등 퍼즐 게임을 풀어내다
Quesma가 GPT-6 Astra의 퍼즐 해결 능력을 검증한 결과를 공개했습니다. Astra는 ARC-AGI-3에서 표준 하네스로 63%, 커스텀 하네스로 99%를 기록했고, 인간 개입 없이 Portal을 23시간 43분 만에 클리어했으며, Baba Is You 장기 캠페인에서도 Claude Fable 5.1을 크게 앞섰습니다. 벤치마크 최적화가 아니라 일반화된 퍼즐 해결 능력일 가능성이 주목받고 있습니다.
Apple A20 Pro, Geekbench 7 싱글코어 기록 경신 — 2nm 칩이 데스크톱 Intel Core i9·AMD Ryzen 9을 최대 32% 앞서
초기 Geekbench 7 제출 데이터에서 Apple의 최신 iPhone용 A20 Pro가 싱글스레드 4,006점으로 역대 최고 기록을 세웠습니다. TSMC N2 공정으로 만든 첫 2nm 스마트폰 SoC로, 싱글스레드 기준 데스크톱급 Ryzen 9 9950X3D보다 26%, Core i9-14900KS보다 32% 빠르며 전작 A19 Pro 대비 싱글 23.3%, 멀티 27.1% 향상을 보였습니다.