AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
AI가 코드를 더 많이 쓸 때, 무엇을 자동화하고 무엇을 사람에게 남길까?
세 글은 에이전트 시대의 검토 문제를 서로 다른 층위에서 다룹니다. 한 글은 실행 권한을 코드 리뷰와 분리해야 한다고 주장하고, 다른 글은 사람의 병합 승인을 유지하되 검토 자료를 개선하자고 제안합니다. Anthropic 팀 사례는 자동 리뷰와 위험도별 승인 절차를 실제 운영 방식으로 설명합니다. 이 차이를 바탕으로 검토와 권한 통제의 역할을 나눠 봅니다.
중고차 두 대를 비교하는 RevCheck
RevCheck는 불가리아의 중고차 매물 사이트 mobile.bg와 cars.bg에서 매물 두 개를 읽어 사진, 시세, 엔진별 점검 항목을 비교합니다. Gemma 4, DeepSeek V4 Pro, TabPFN을 각 작업에 나눠 쓰고 규칙 기반 검사를 결합해 어느 차를 보러 갈지 제안합니다. 개발 과정에서는 이미지 오독과 환각을 코드로 제한하고, 40초 요청 제한을 피하도록 비교 과정을 여러 요청으로 나눴습니다.
BOSS Console — 상시 실행 에이전트를 위한 작은 OS
BOSS Console은 에이전트가 브라우저, 터미널, 편집기를 함께 쓰는 작업 공간을 제공합니다. 사용자는 에이전트의 작업을 확인하고 같은 브라우저 세션에 개입할 수 있으며, Claude Code나 Codex 같은 에이전트도 연결할 수 있다고 제작자는 설명합니다.
AI 부채 우려에 나스닥 2% 넘게 하락
나스닥은 금요일 2.14% 하락해 한 주 동안 약 4.5% 떨어졌습니다. AI 컴퓨팅을 빌려주는 CoreWeave의 막대한 부채와 채권 수익률 상승, 반도체주 약세가 시장 부담으로 꼽혔습니다.
AI에는 맞서 반응하는 테스트가 필요합니다
eSlams는 AI 모델이 상대의 대응과 달라진 상황에 맞춰 판단을 이어가는 능력을 게임으로 평가하는 공개 경기장을 만들고 있습니다. 오픈소스 엔진은 50개 게임·제어 환경을 지원하며, 경기 기록과 기술적 실패를 구분해 결과를 검토하도록 설계했습니다.
Parallax — 코딩 에이전트를 한곳에서 관리합니다
Parallax는 Claude Code, Codex 등 40개 이상의 코딩 에이전트와 240개 이상의 모델을 한 앱에서 실행하는 도구입니다. 구독 한도가 차면 다음 구독으로 작업을 이어가고, Captain은 에이전트의 진행을 살피며, PR은 한 번의 클릭으로 병합하도록 지원합니다.
Show HN: Gemini 4 Argon이 스타크래프트를 플레이합니다
StarSkirmish Bench v0.2는 LLM이 한 시간 동안 C++로 작성한 StarCraft: Brood War 봇의 성능을 비교합니다. GPT-6 Astra가 1위, GPT-6.1 Sol이 2위이며 Gemini 4 Argon을 포함한 세 모델은 37~39점으로 비슷한 결과를 냈습니다. 다만 최고 모델도 상위 인간 제작 봇을 상대로 승률이 7%에 그쳤습니다.
RAG와 가드레일을 가르치는 60 FPS AI 에이전트 베이커리 게임
Prompt Paws는 베이커리 운영 게임으로 RAG, 프롬프트 가드레일, 컨텍스트 캐싱, 도구 호출, 멀티 에이전트 구조를 익히도록 만든 오픈소스 브라우저 시뮬레이션입니다. 게임은 실제 LLM API를 호출하지 않고, 주문 유형에 맞는 처리 스테이션을 배치해 아키텍처 구성을 연습합니다.
NVIDIA, 반복 연산형 4B 언어 모델 Dory 공개
NVIDIA의 Dory1.0-4B는 공유된 20개 레이어 블록을 반복 적용해 토큰당 연산량을 조절하는 4B 모델입니다. 반복 횟수에 따라 정확도와 추론 비용을 바꾸며, 벤치마크에서는 2회 반복이 여러 작업에서 1회보다 높은 점수를 냈습니다. 마지막 반복의 KV 캐시만 남기는 방식도 제공합니다.
Ultramarine 1 Flash, 전문 지식 업무용 오픈 모델
Paper Instruments가 오픈 모델 Ultramarine 1 Flash를 공개했습니다. GLM-5.3 Flash를 기반으로 대규모 강화학습을 적용했으며, 자체 지식 업무 벤치마크에서 작업당 0.13달러로 Claude Fable 5 Max와 GPT-5.6 Sol Max보다 높은 점수를 기록했다고 밝혔습니다.
DeepSeek-V4.1-Flash-1017 공개: 추론·코딩·에이전트 벤치마크 개선
DeepSeek-V4.1-Flash-1017은 기존 Flash 모델을 소폭 갱신한 모델로, 추론과 코딩, 에이전트 작업, 비전 벤치마크 점수를 높였다고 공개했습니다. 실행 시간과 출력 길이도 줄였다고 밝혔으며, 로컬 추론을 위한 안내와 프롬프트 처리 도구를 함께 제공합니다.
Autonomous의 Harness — 모든 코딩 에이전트와 머신을 한곳에서 관리
Harness는 Claude Code, Codex, Hermes 등 코딩 에이전트를 여러 머신에서 실행하고 한곳에서 관리하는 오픈소스 도구입니다. Mac·Linux 데스크톱 앱과 iOS·Android 앱을 제공하며, 원격 머신 연결과 종단간 암호화를 지원한다고 설명합니다.
탈동조화의 함정: AI 슬롭이 신호를 덮어버릴 때
저자는 서로 맞지 않거나 중복되는 모델이 쌓여 변경 비용을 키우는 상태를 ‘탈동조화(decoherence)’라고 부릅니다. AI 에이전트가 코드 변경을 빠르게 늘리면서 이 복잡성을 함께 키우면 기능 개발이 막힐 수 있으며, 실제 세계의 검증 없이 AI가 스스로 개선되는 시나리오도 이 문제에 부딪힌다고 주장합니다.
기억의 관점에서 트랜스포머를 유도할 수 있습니다
선형층, MLP, self-attention을 키-값 기억 저장소로 해석하고, 기억을 불러올 때 생기는 간섭을 기준으로 저장 용량을 비교합니다. 키 차원이 64일 때 추정 용량은 단순 선형 저장소의 약 64개에서 제곱 ReLU MLP의 약 2,700개, self-attention의 약 120만 개로 늘어납니다.
Tencent Hy-Memory-30B-A3B: 장기 기억 기록을 위한 전용 모델
Tencent Hunyuan이 외부 메모리 시스템에서 정보를 골라 저장하고 갱신하도록 만든 Hy-Memory-30B-A3B를 공개했습니다. 3B 활성 파라미터를 쓰는 MoE 모델로, 고정된 20% 벤치마크 표본에서 네 가지 메모리 프레임워크 평균 점수가 비교 대상 중 가장 높았습니다.
딥러닝 시험에서 배운 프롬프트 기법 10가지, 개발할 때 실제로 쓰는 방법
딥러닝 시험에서 배운 프롬프트 기법 열 가지를 개발자 작업에 맞춘 예시로 풀어냅니다. 간단한 질문부터 예시 제시, 단계별 분석, 역할 지정, 형식 지정, 대화 맥락 유지까지 어떤 상황에서 쓸지 설명하고, 여러 기법을 조합해 쓰는 방법도 제안합니다.
TwelveLabs의 Jockey — 동영상 라이브러리 전체를 정리하고 검색하고 이해합니다
TwelveLabs의 Jockey는 사진과 동영상을 함께 분석해 사람, 장면, 맥락을 라이브러리 전체에서 검색하는 AI 서비스입니다. Claude와 ChatGPT에서 사용하거나 API와 SDK로 연결할 수 있으며, 검색 결과를 타임스탬프가 포함된 클립이나 편집 가능한 산출물로 내보냅니다.
Claude Mythos 5가 기존 최고 기록을 넘어서는 양자 회로를 설계했습니다
Anthropic은 Claude Mythos 5가 화학, 최적화, 물리 시뮬레이션 등 8개 양자 회로 과제에서 기존 발표 설계보다 적은 큐비트와 게이트를 쓰는 회로를 찾았다고 밝혔습니다. 모듈러 역원 회로는 기존 최소 큐비트 설계보다 게이트를 17배 줄였고, 양자 최적화 알고리즘의 디코더는 게이트 수를 12분의 1로 낮췄습니다.
AI와 만들면서 실제로 배우는 것
AI로 기능을 완성하는 일과 작동 원리를 배우는 일은 다릅니다. 글쓴이는 Slate 편집기의 저장 경쟁 조건과 로컬 AI 모델의 실행 시간을 직접 조사한 경험을 들어, 생성된 코드를 이해하고 다른 문제에 적용하는 학습 방식을 설명합니다.