정확도 변화는 작게, 추론 토큰은 평균 38.9% 줄인 Gemma-4-26B-A4B
Bottlecap AI가 Google Gemma-4-26B-A4B-it을 바탕으로 추론 토큰을 줄인 ThinkingCap 모델을 공개했습니다. 12개 벤치마크에서 토큰 사용량은 평균 38.9% 감소했고 정확도는 평균 0.15%포인트 낮아졌지만, AA-LCR에서는 4.00%포인트 하락했습니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
MoMoE: GPU와 시스템 RAM으로 더 많은 MoE 모델을 실행하는 Strata 포크
MoMoE는 Strata 기반 엔진과 자체 CUDA·Metal 엔진을 묶어 GPU 메모리에 다 담기 어려운 여러 MoE 모델을 실행하는 오픈소스 프로젝트입니다. 일부 모델은 llama.cpp보다 빠르지만, GPU에 모델이 들어가는 경우에는 성능이 비슷하거나 llama.cpp가 앞서기도 합니다.
RAG가 근거를 드러내게 만드는 법: 1,500만 문서 규모의 주장 검증
문서가 늘수록 RAG는 오류를 드러내기보다 그럴듯한 답을 내놓기 쉽습니다. 이 글은 검색, 인용 강제, 주장별 검증, 답변 유보의 네 단계로 이를 줄이는 설계를 제안하고, 소규모 SQuAD v2 실험에서 답변 위험 감소와 커버리지 손실을 함께 보고합니다.
원본 가중치 510GB DeepSeek-V4.1-Flash-1017을 64GB RAM·RTX 3060 12GB PC에서 실행: 최대 7.4토큰/초, 엔진 공개
PROMETHEVS는 2비트 전문가 가중치로 출력을 초안 생성한 뒤 불확실한 토큰만 원본 FP4 가중치로 다시 계산하는 추론 엔진입니다. 개발자는 RTX 3060 PC에서 최대 7.4토큰/초와 원본 경로 대비 98.3% 일치율을 보고했지만, 측정은 한 대의 PC와 제한된 프롬프트에 그칩니다.
NVIDIA Nemotron 3.5 Bolt E4B 4GB: Gemma 4 기반 소형 언어 모델
NVIDIA가 Gemma-4-E4B-it을 후학습한 4B 유효 파라미터 모델 Nemotron 3.5 Bolt E4B를 공개했습니다. Q4_K_M 양자화와 최대 64K 문맥을 지원하며, 추론·대화 모드 제어와 비동기 도구 호출을 제공합니다. 자체 벤치마크에서는 작업별로 경쟁 모델과 결과가 엇갈립니다.
에이전트 보안의 세 층위: 지침 유입, 실행 통제, 행동 감시
다운로드 폴더의 악성 지침은 에이전트가 신뢰하는 입력 경계의 위험을 보여주고, OpenShell은 실행 단계의 접근 통제를 제시하며, METR·Redwood Research의 평가는 모니터링의 공백을 드러냅니다. 각 자료가 다루는 보안 층위와 한계를 나눠 살펴봅니다.
WorldTUI: 3억 6천만 매개변수 모델을 터미널인 척하도록 학습시켰습니다
WorldTUI는 실제 셸이나 파일시스템 없이 키 입력마다 터미널 화면의 변화를 예측하는 3억 6천만 매개변수 모델입니다. 화면 행 병렬 디코딩과 자기 오류 수정 학습으로 속도와 일관성을 높였지만, 파일 읽기 테스트는 13회 중 9회 성공해 실제 터미널처럼 신뢰할 수 있는 수준은 아닙니다.
MiniMax-M3.1-Flash, 428B MoE 모델 공개
MiniMax가 텍스트·이미지·동영상 입력과 최대 100만 토큰 문맥을 지원하는 MoE 모델 M3.1-Flash를 공개했습니다. 희소 어텐션, 양자화 인식 학습, DSpark 추측 디코딩을 적용했으며 벤치마크 결과는 작업별로 경쟁 모델과 우열이 엇갈립니다.
입력하는 동안 로컬 LLM이 미리 읽고 생각하게 했습니다: 6GB GPU에서 대기 시간 12초 → 3초
MAFDET는 사용자가 입력하는 동안 LLM의 KV 캐시를 갱신하고, Qwen3의 추론도 미리 진행하는 오픈소스 앱입니다. RTX 2060에서 Qwen3-4B의 답변 대기 시간은 12.2초에서 3.2초로 줄었지만, 미리 한 추론은 최종 입력이 바뀌면 정확성을 보장하지 않습니다.
LLM으로 대규모 소프트웨어 정형 검증이 현실에 가까워지고 있습니다
Anthropic과 Theorem은 Claude를 사용해 OSS-Fuzz 대상 123개 오픈소스 라이브러리의 239개 테스트 진입점을 RISC-V 바이너리 수준에서 검증했습니다. 입력 크기와 실행 환경에 조건을 둔 결과이며, 증명 과정에서 장기간 발견되지 않은 버그도 찾아냈습니다.
OpenShell: 자율 AI 에이전트 여러 대를 위한 안전한 프라이빗 런타임
NVIDIA OpenShell은 자율 AI 에이전트를 격리된 샌드박스에서 실행하고 파일, 시스템 호출, 네트워크 접근을 정책으로 통제하는 런타임입니다. 커널 수준의 런타임 검사와 정책 변경 전 형식 검증을 내세우며, 댓글에서는 자격 증명 보호와 데이터 유출 통제에 대한 기대와 우려가 함께 나왔습니다.
Markdown이 새 실행 파일이 됐다: 웹에서 다운로드 폴더로 AI 에이전트 지침을 심는 공격
Forever Security는 실제 고객 PC의 Downloads 폴더에서 악성 AGENTS.md를 발견하고 Codex와 Claude Code에서 공격을 재현했습니다. 웹에서 받은 지침 파일을 에이전트가 신뢰해 설정을 바꾸거나 코드를 실행할 수 있으며, 실험 성공률과 고객 원격 측정치는 회사가 보고한 범위입니다.
OpenAI API용 공식 CLI
OpenAI가 REST API를 명령행에서 호출하는 공식 CLI를 공개했습니다. 리소스별 명령과 JSON 변환, 파일·이미지 처리, 셸 자동 완성 등을 제공하며 Codex와는 용도가 다릅니다. Go 1.26 이상 또는 Homebrew로 설치할 수 있습니다.
Claude Duet
Anthropic이 메시지로 업무를 맡기면 백그라운드에서 처리하고, 매일 아침 브리핑과 승인 요청을 보내는 상시형 에이전트 Claude Duet을 공개했습니다. 미국 Pro·Max 구독자를 대상으로 대기자 명단을 운영하며, 사용량은 기존 Claude 한도와 공유합니다.
OpenAI 모델, Google Cloud에 들어온다
OpenAI 모델과 Codex 에이전트 워크플로가 Google Cloud의 Model Garden에 제공될 예정입니다. 고객은 Google Cloud Marketplace에서 구매하고 기존 GCP 지출 약정액을 사용할 수 있습니다. 일반 제공은 수주 안에 시작할 계획입니다.
Sage-A1.5: 장기 과학 과제를 위한 35B 에이전트 모델
Shanghai AI Laboratory의 Agents-A1을 바탕으로 만든 35B Mixture-of-Experts 모델 Sage-A1.5가 공개됐습니다. 병렬 하위 에이전트 조율과 선택형 자기 검증 기능을 제공하며, 모델 카드에는 여러 과학·코딩·에이전트 벤치마크 점수와 SGLang·vLLM 실행 방법이 담겼습니다.
SlothFinance: 구독료 누수를 찾고 해지 문안을 만드는 오픈소스 AI
SlothFinance는 은행 거래 CSV에서 반복 결제와 요금 인상을 찾아 구독료 누수를 보여주는 프로젝트입니다. 글은 TabPFN-3.5로 거래 패턴을 분석하고 Gemma 2로 요약과 해지 문안을 생성한다고 설명하지만, 완전한 로컬 처리라는 주장과 서버 배포 설정 사이의 관계는 분명히 밝히지 않습니다.
bonds — 모든 친구 채팅방에 초능력 AI 친구가 생긴다
bonds는 친구 채팅방마다 AI 친구 bondi를 두고, 대화에 맞춘 게임과 챌린지, 사진 앨범 등을 함께 만들게 하는 메시징 앱입니다. 창업자들은 bondi가 그룹의 말투와 농담을 익히고 먼저 반응하는 생성형 UI를 내세우며, Product Hunt 댓글에서는 개인정보 설정과 채팅방 정리 문제가 제기됐습니다.
Spark-X2.6-4B: 온디바이스 배포용 4B 언어 모델
SparkLLM이 Spark-X2.5-4B와 같은 아키텍처를 유지하면서 후처리를 개선한 Spark-X2.6-4B를 공개했습니다. 코딩, 에이전트 작업, 긴 문맥 처리 성능을 높였다고 설명하며, 추론 수준을 none, low, high로 설정하는 기능과 여러 로컬 실행 경로를 제공합니다.
dev.to에서 늘 같은 주제만 보이나요? 오픈 모델로 주간 요약을 만들었습니다
개발자가 dev.to 글을 매일 모아 주간 이메일로 보내는 오픈소스 스크립트 devto-digest를 만들었습니다. 팔로우한 태그의 인기 글과 관심 영역 밖의 글을 나눠 보여주고, 오픈 웨이트 모델로 짧은 요약을 작성합니다. 태그가 119개일 때 발견 영역이 좁아지는 문제와 API 호출 제한, 이메일 렌더링 문제를 해결한 과정도 다룹니다.