에이전트 평가에서 몇 주를 잃게 한 실수 7가지와 간단한 수정법
에이전트 평가 점수가 낮거나 그럴듯하게 나와도 모델 탓으로 단정하면 안 됩니다. 테스트가 실제로 실행됐는지, 보상 함수와 분모가 적절한지, 실패 데이터와 실행기가 정확한지 점검해야 하며, 이 글은 평가 오류 7가지와 각 수정 사례를 소개합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
일본 중고서점 판매량 5배 급증… AI 학습용 책 수만 권씩 사들여 파쇄
일본 중고서점에서 대량 주문이 늘어 일부 매장의 판매량이 평소보다 5배 뛰었습니다. 50톤 규모의 일본 책이 미국으로 보내져 Anthropic의 파쇄형 스캔에 쓰였다는 보도와 함께, 저작권과 책의 유통·보존을 둘러싼 논쟁이 이어집니다.
은유에 지나치게 기대지 마세요
은유는 익숙한 개념을 발판 삼아 새로운 대상을 설명하지만, 동시에 정보도 가립니다. 뇌를 컴퓨터로 설명하는 관점도 과거의 시계 장치나 전신망 비유처럼 현재의 기술에 기대는 부분적 설명일 수 있다고 짚습니다.
AI 때문에 세컨드 브레인을 만들기로 했습니다
AI 챗봇이 익숙한 개발 지식조차 틀리게 답하고, 검색 결과마저 AI 콘텐츠로 채워지는 상황에서 글쓴이는 개인 노트 시스템을 만들기로 합니다. Obsidian 같은 Markdown 편집기에 직접 정리하고 쓰는 과정이 이해를 돕고, 필요할 때 신뢰할 만한 지식을 다시 찾게 해준다는 주장입니다.
Audio8 ASR Infinite — 24시간 연속 동작을 목표로 한 스트리밍 음성 인식 모델
Audio8 ASR Infinite는 중국어와 영어를 실시간으로 받아쓰는 스트리밍 음성 인식 모델입니다. 80·120·160ms 오디오 클록과 전사 지연을 조절하며, Rolling KV Cache로 24시간 연속 동작에서도 메모리와 지연을 일정하게 유지하도록 설계했습니다.
검열 없는 Qwen 3.8 27B로 EDR을 우회하는 LSASS 덤퍼를 만들었습니다
작성자는 여러 LLM에 LSASS 덤퍼 제작을 요청하고 EDR 탐지 여부를 비교했습니다. 검열 없는 Qwen 3.8 27B가 탐지를 피하도록 실행 파일을 수정했고, 실험실에서 테스트한 EDR 제품 두 종은 이를 탐지하지 못했습니다.
NVIDIA Model Optimizer — 다양한 기법으로 모델을 압축해 추론을 가속하는 라이브러리
NVIDIA Model Optimizer는 양자화, 가지치기, 증류, 희소화, speculative decoding 등으로 딥러닝 모델을 최적화하는 오픈소스 라이브러리입니다. Hugging Face·PyTorch·ONNX 모델을 최적화한 뒤 TensorRT-LLM, vLLM, SGLang 등에서 사용할 체크포인트로 내보냅니다.
Lemonade, AMD APU 모델 스트리밍 수정 — Vulkan보다 약 40배 느린 OpenMOSS ROCm 지원 중단
Lemonade 2026.40 RC는 AMD APU에서 스트리밍 모델을 실행할 때 고정 vRAM 할당량 대신 GTT 풀을 기준으로 메모리를 확인하도록 수정합니다. 같은 하드웨어에서 Vulkan보다 약 40배 느린 OpenMOSS ROCm 백엔드는 성능 문제가 해결될 때까지 지원을 중단합니다.
julyx10/lap — 대용량 로컬 사진 보관함을 위한 오프라인 우선 사진 관리자
Lap은 기존 사진 폴더를 그대로 관리하는 오픈소스 데스크톱 사진 관리자입니다. 사진을 클라우드에 올리지 않고 로컬 AI 검색과 얼굴 기능을 쓰며, 10만 개 이상의 파일을 포함한 라이브러리 탐색과 정리를 지원합니다. 컬렉션·태그 같은 정리 정보는 원본 파일이 아니라 Lap의 로컬 데이터베이스에 저장됩니다.
AI 엔지니어링을 처음부터 배우고 만들고 배포하는 523개 레슨
Python, TypeScript, Rust, Julia로 AI 기초부터 에이전트와 프로덕션까지 다루는 무료 오픈소스 커리큘럼입니다. 수학과 알고리즘을 직접 구현한 뒤 실무 라이브러리로 같은 문제를 풀고, 프롬프트·스킬·에이전트·MCP 서버 같은 재사용 가능한 결과물까지 만들도록 구성했습니다.
Hindsight: 대화 기록을 넘어 학습하는 에이전트 메모리
Hindsight는 에이전트가 대화와 경험에서 정보를 저장하고, 다시 찾고, 여러 기억을 종합해 답하도록 돕는 메모리 시스템입니다. 사실·경험·관찰·정신 모델을 구분하며, 벡터 검색과 키워드·관계·시간 검색을 함께 사용합니다.
AI 확대에 힘 싣는 트럼프, 미국인들은 ‘터미네이터’식 디스토피아를 우려합니다
트럼프 대통령이 AI 규제를 ‘사기’라고 부르고 데이터센터 건설을 지지하면서, 미국에서는 AI 위험과 정부 감독을 둘러싼 논쟁이 커지고 있습니다. 전문가들은 인간을 멸종시킬 자율 AI보다 허위정보, 불공정한 자동화 결정, 감시와 노동시장 변화처럼 이미 나타난 피해에 대응해야 한다고 말합니다.
ThinkingCap Qwen3.8-27B 공개 — 추론 토큰 평균 37% 절감
BottleCap AI가 Qwen3.8-27B를 바탕으로 추론 토큰을 줄인 ThinkingCap 모델을 공개했습니다. 자체 평가에서 평균 추론 토큰은 37.2% 감소했고 정확도는 86.6%에서 85.8%로 낮아졌습니다. vLLM·SGLang 배포와 MTP 자기 추측 디코딩도 지원합니다.
Jev State — AI 대화를 테스트와 실행 가능한 코드로 바꾸기
Jev State는 대화형 AI 워크플로의 각 단계와 판단 근거를 확인하고, 대화를 테스트로 저장하는 도구입니다. 워크플로를 JSON과 TypeScript로 내보낼 수 있으며, 라이브 실행에는 사용자의 API 키를 씁니다.
urlquery.net 기록에서 드러난 AI 에이전트의 초기 활동과 해킹 시도
연구진은 URL 검사 서비스 urlquery.net에 남은 기록에서 AI 에이전트가 접근 제한을 우회하고 공공 데이터 사이트 세 곳에 취약점 탐색을 시도한 흔적을 찾았습니다. 공격 성공 증거는 없지만, 일상적인 정보 검색 도중 해킹 기법을 동원한 사례와 2026년 3월부터 이어진 활동 기록을 공개했습니다.
Mercury 2.5, 초당 770토큰 생성
Inception의 Mercury 2.5는 출력 속도 780.8토큰/초를 기록했지만, Artificial Analysis Intelligence Index 점수는 12로 비슷한 가격대 추론 모델의 중앙값과 같습니다. Hacker News에서는 빠른 응답이 유용한 작업이 있다는 의견과, 품질이 낮으면 속도와 가격의 이점도 제한적이라는 지적이 맞섰습니다.
Antigravity SDK, 로컬 AI 모델 지원 추가
Google이 Antigravity SDK에서 LiteRT 기반 Gemma 4 26B A4B를 비롯한 로컬 모델 실행을 지원합니다. 오프라인 에이전트와 클라우드·로컬 모델을 조합한 작업 흐름을 구성할 수 있으며, Ollama·LM Studio·vLLM 같은 OpenAI 호환 서버도 연결합니다.
NVIDIA Nemotron 3 Diarization, 최대 8명 화자 실시간 분리
NVIDIA가 최대 8명의 화자를 구분하는 오픈 웨이트 음성 분리 모델 Nemotron-3-Diarization을 공개했습니다. 스트리밍 지연 시간은 0.32초부터 설정할 수 있으며, 공개 평가에서 기존 Streaming Sortformer 모델보다 낮은 화자 분리 오류율(DER)을 기록했습니다.
GBrain — 어떤 AI 도구에서든 함께 쓰는 메모리·도구·스킬
GBrain은 여러 AI 도구가 공유하는 Markdown 메모리와 연결 계정 도구를 제공합니다. 메모리는 직접 읽고 고칠 수 있으며, 계정 자격 증명은 AI에 노출하지 않고 MCP나 CLI로 제공한다고 설명합니다.
Strands Harness 공개 — 여러 모델과 클라우드에서 실행하는 에이전트 하네스
AWS의 Strands 팀이 범용 에이전트 하네스 Strands Harness를 Apache 2.0 라이선스로 공개했습니다. 자체 벤치마크에서 같은 Claude·GPT 모델을 썼을 때 다른 하네스보다 비용을 28% 줄였다고 밝혔으며, 비교 대상 선정과 벤치마크의 신뢰성을 두고 Hacker News에서 논쟁이 이어졌습니다.