로컬 LLM이 Claude Code를 대체할 수 있을까요? 자주 인용되는 벤치마크가 놓치는 것
SWE-bench 점수만으로 코딩 에이전트의 실사용성을 판단하기 어렵다고 주장합니다. 다단계 도구 호출의 신뢰성, 컨텍스트 유지, 재시도 비용을 따져 로컬 모델과 클라우드 모델을 작업별로 나누어 쓰는 방식을 제안합니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
MiniCPM-V 4.7 1B 공개 - 이미지·영상 이해와 온디바이스 추론
OpenBMB가 이미지와 영상 이해를 지원하는 1B 멀티모달 모델 MiniCPM-V 4.7을 공개했습니다. 시각 토큰을 초기에 압축하고 4x와 16x 처리 모드를 제공하며, 모바일 배포와 여러 추론·양자화 도구를 지원합니다.
Google EmbeddingGemma 2 — 공개형 경량 멀티모달 임베딩 모델
Google DeepMind의 EmbeddingGemma 2는 텍스트, 코드, 이미지, 동영상, 오디오를 하나의 임베딩 공간에 매핑하는 공개형 모델입니다. 7억 4천만 개 파라미터로 기기에서 실행하며, MTEB Code 점수는 이전 모델의 68.76에서 78.68로 올랐습니다.
MiniCPM-V 4.7 35B-A3B, MoE 멀티모달 모델의 온디바이스 추론 최적화
OpenBMB가 이미지·영상 이해를 지원하는 MoE 모델 MiniCPM-V 4.7 35B-A3B를 공개했습니다. 모델 카드에 따르면 Lookahead Expert Scheduling, 양자화, 추측 디코딩을 조합해 iPhone 17 Pro Max에서 메모리 3GB, 초당 13토큰 이상으로 추론합니다.
AutoTrust, 최대 256개 선택지를 한 번에 처리하는 JEV-35B 공개
AutoTrust AI가 Qwen3.5-35B-A3B를 기반으로 선택·분류·점수화에 특화한 오픈 웨이트 모델 JEV-35B를 공개했습니다. 자체 평가에서 Decision Index 0.3 점수 59.73을 기록했고, NVFP4 버전은 가중치 기준 GPU 메모리 23.3GiB를 사용합니다.
추위와 화면 눈부심을 피하는 등산 도구 HushHike — Render·ElevenLabs·Mastra로 만든 오프라인 안내 시스템
HushHike는 출발 전 경로와 일몰 위험을 계산해 음성 안내와 인쇄용 경로 카드를 만드는 등산 도구입니다. 글은 Tobler 보행 속도식, 태양 고도 계산, Mastra 워크플로를 소개하지만, 공개된 코드와 배포 설정 일부는 설명과 맞지 않습니다.
GLM-Legal — 법률 업무용 모델의 학습 방식과 벤치마크
Z.ai가 법률 업무에 특화한 GLM-Legal을 공개하고, Harvey LAB에서 19.2%의 전체 통과율을 기록했다고 밝혔습니다. 법률 문서 처리부터 에이전트 실행 환경과 실무 피드백을 활용한 학습까지 소개하지만, Hacker News에서는 벤치마크 신뢰도와 환각, 책임 소재, 데이터 보안 우려가 제기됩니다.
Muse Wonder — 개인·업무용 에이전트에 집중한 Meta의 새 모델
Meta가 개인·업무용 에이전트 작업과 코딩을 겨냥한 Muse Wonder 및 Muse Wonder Full을 공개했습니다. Active Memory와 Active Focus를 내세우며, 미세조정에 쓰지 않은 과제에서도 성능 향상이 이어진다고 설명합니다. Hacker News에서는 벤치마크와 실제 사용 성능, 가격, 개인정보 보호를 두고 의견이 갈렸습니다.
Baidu의 Unlimited-OCR, 이미지와 여러 페이지 문서를 파싱하는 OCR 모델
Baidu가 공개한 Unlimited-OCR은 단일 이미지와 여러 페이지 문서, PDF를 처리하는 OCR 모델입니다. Hugging Face Transformers로 실행하거나 vLLM·SGLang 서버에 배포할 수 있으며, 모델 카드에는 OmniDocBench 평가 수치도 공개되어 있습니다.
Microsoft BitNet — 1비트 LLM 추론 프레임워크
BitNet은 삼진 가중치를 쓰는 1비트 LLM을 CPU와 GPU에서 추론하는 Microsoft의 오픈소스 프레임워크입니다. 프로젝트가 공개한 벤치마크에서 x86은 최대 6.17배, ARM은 최대 5.07배 빨라지고 에너지 소비는 각각 최대 82.2%, 70.0% 줄었습니다. 임베딩 모델과 실시간 음성 인식 엔진으로도 적용 범위를 넓히고 있습니다.
16.9MB 음성 인식 모델 Whistle
Cactus Compute가 모바일과 임베디드 기기에서 실행하는 16.9MB 음성 인식 모델 Whistle을 공개했습니다. 기기 안에서 전사, 단어별 타임스탬프, 음성 임베딩을 처리하며, 일부 벤치마크에서는 Whisper base보다 높은 점수를 기록했지만 모든 데이터셋에서 앞서지는 않았습니다.
Qwen-Image-2.1 비검열 양자화 모델
Qwen-Image-2.1을 GGUF, Safetensors, MLX 형식으로 양자화해 로컬 이미지 생성에 쓸 수 있도록 배포합니다. ComfyUI 설정과 권장 구성도 안내하며, 기본 안전 필터가 없어 입력 프롬프트에 따라 민감한 이미지도 생성합니다.
LLM 성능을 바라보는 사람들의 간극이 더 벌어지고 있습니다
Andrej Karpathy는 LLM을 거의 써보지 않은 대중부터 내부 최전선 모델을 쓰는 소수까지, 경험 수준이 급격히 갈린다고 설명합니다. 성능 차이는 사용 분야와 문제 규모, 모델 접근 권한에서 비롯되며, 빠른 출력 속도를 사람이 검증하는 속도가 따라가지 못할 수 있다는 우려도 제기합니다.
조지아어 벤치마크: OpenAI와 Anthropic 모델이 맞붙은 결과
저자는 직접 만든 조지아어 과제로 OpenAI와 Anthropic의 모델 8종을 비교합니다. GPT-6 Astra가 평균 0.90으로 가장 높았지만, 조지아어를 영어로 번역하는 능력과 조지아어 문장을 정확히 만들어내는 능력 사이에는 큰 차이가 나타났습니다.
노트북을 덮고 식물을 살펴보라고 안내하는 AI 정원 앱을 만들었습니다
Garden Trials는 로컬 Gemma 모델로 식물 관찰 기록을 정리하고, 사용자가 직접 확인할 항목을 제안하는 앱입니다. 원인을 AI가 단정하지 못하게 막고 실험 절차와 증거 수준은 Python 코드로 관리합니다. 작성자는 실제 정원 기록에서 모델의 한계와 검증 장치를 함께 살펴봅니다.
Iris-3B — 픽셀 공간에서 이미지 생성과 비전 작업을 수행하는 30억 파라미터 모델
Iris-3B는 잠재 공간이나 VAE 디코더를 거치지 않고 픽셀을 직접 생성하는 30억 파라미터 모델입니다. 같은 모델을 별도 구조 변경 없이 미세 조정해 단안 깊이 추정과 이미지 복원·업스케일링에도 적용하며, 저장소에 가중치와 실행 스크립트를 공개했습니다.
397B 모델을 1.60달러로 4B에 증류했습니다 — 하이킹을 막아야 할 공원 경보 33건 중 28건을 잡습니다
미국 국립공원관리청(NPS)의 경보 627건을 대형 모델로 분류한 뒤, 그 결과를 바탕으로 Qwen3.5-4B를 LoRA 미세조정했습니다. 보류 데이터 126건에서 정확도는 64.3%에서 74.6%로 올랐고, 하이킹을 막아야 할 경보는 33건 중 28건을 찾아냈습니다. 전체 학습 비용은 1.60달러지만, 라벨 오류와 오탐 가능성도 함께 공개했습니다.
AirLLM — 4GB GPU 한 장에서 70B 모델 추론
AirLLM은 모델 가중치를 레이어 단위로 디스크에서 불러와 GPU 메모리 사용량을 줄이는 오픈소스 라이브러리입니다. 저장소는 70B 모델을 4GB GPU에서 실행하는 사례와 대형 모델의 LoRA 학습 지원을 소개합니다.
Meta, 이미지·영상에서 텍스트로 객체를 찾고 추적하는 SAM 3 공개
SAM 3는 텍스트나 시각 프롬프트로 이미지·영상 속 객체를 분할하고 추적하는 기반 모델입니다. 짧은 텍스트가 가리키는 개념에 해당하는 객체를 빠짐없이 찾는 기능을 도입했으며, Meta는 27만 개 개념으로 구성한 SA-CO 벤치마크에서 인간 성능의 75~80%를 기록했다고 밝혔습니다.
밖에서만 작동하고 인터넷도 필요 없는 컬러 피커, FarbeDex
FarbeDex는 야외 사진에서 팔레트를 추출해 저장하는 오프라인 Android 앱입니다. 색 추출은 OKLab 기반 k-means로 처리하고, Gemma 3와 MobileCLIP은 색 이름 짓기와 장면 판별을 맡습니다. 저장한 색은 CSS, Tailwind, JSON 등으로 내보냅니다.