업계는 왜 DeepSeek 4.1 Flash에 놀라지 않을까요?
글쓴이는 한 달간 여러 프로젝트에 DeepSeek 4.1 Flash를 써 본 결과, 일부 프런티어 모델과 체감 성능 차이가 크지 않은데 비용은 훨씬 낮다고 말합니다. 토론에서는 저렴한 모델의 실용성에 공감하는 의견과, 실제 작업 품질·구독 요금·하드웨어 비용을 따져야 한다는 반론이 맞섭니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
DGX Spark용 GLM-5.3-Flash 축소 빌드 — 전문가 224개로 줄이고 NVFP4 적용
GLM-5.3-Flash의 라우팅 전문가를 레이어당 288개에서 224개로 줄이고 전문가 가중치에 NVFP4를 적용한 비공식 모델입니다. 가중치가 141 GiB라 DGX Spark 두 대나 180 GB 이상 Blackwell GPU에서 실행할 수 있으며, 정확도와 성능 측정은 B200에서 이뤄졌습니다.
재시도할까, 말까? AI 모델은 API 실패 상황을 제대로 판단할까요
API 실패 상황에서 AI 모델이 재시도 여부를 제대로 판단하는지 14개 시나리오로 비교했습니다. 8개 모델의 3회 실행 결과, 재시도 안전성과 시점을 혼동하는 사례가 드러났으며 특히 중복 결제 위험이 있는 요청에서 대부분 모델이 틀렸습니다.
LiquidAI, 단일 패스로 판단하는 멀티모달 모델 d1-3B 공개
LiquidAI가 텍스트와 이미지 입력을 받아 분류·선택·점수화 결과를 한 번의 추론으로 내놓는 31억 파라미터 모델 d1-3B를 공개했습니다. 출력 토큰을 생성하지 않아 RTX 4090에서 단일 판단에 8ms가 걸리며, 여러 질문이 같은 입력을 공유하는 분류·라우팅 작업을 겨냥합니다.
llama.cpp, 호스트 메모리에 둔 MoE 전문가를 위한 GPU 캐시 추가
호스트 메모리에 있는 Mixture of Experts(MoE) 전문가 가중치를 GPU의 LRU 캐시에 보관하고, 캐시 적중 시 GPU에서 계산하는 llama.cpp 변경입니다. VRAM이 부족한 시스템에서 생성 속도가 빨라진 사례가 있지만, 캐시 적중률과 PCIe 대역폭에 따라 오히려 느려지기도 하며 이 PR 구현은 단일 GPU만 지원합니다.
GEV-26B-Decide의 NVFP4 양자화 체크포인트
AutoTrust가 GEV-26B-Decide의 라우팅 전문가 MLP 3,840개를 NVFP4로 양자화한 체크포인트를 공개했습니다. 가중치 용량은 49.5GB에서 18GB로 줄고 vLLM 기준 GPU 메모리는 51.1GiB에서 17.1GiB로 감소합니다. GPQA Diamond와 HLE 결과 차이는 실행 간 변동 범위 안에 있다고 설명합니다.
Qwen3.8-Flash-Next 비검열 GGUF 모델 공개
Qwen3.8-Flash-Next의 거부 응답 성향을 제거한 모델을 GGUF로 변환해 2~8비트 양자화 파일로 제공합니다. llama.cpp에서 CPU·GPU 추론과 이미지 입력을 지원하며, 별도 MTP 초안 모델을 이용한 추측 디코딩도 안내합니다. 유해 요청 거부율이 기준 모델의 64~100%에서 약 0~3.3%로 낮아졌다고 보고합니다.
AI 코딩 에이전트 작업을 정리하는 오픈소스 macOS 터미널, cmux
cmux는 Ghostty의 렌더링 엔진을 쓰는 macOS용 터미널입니다. 세로 탭과 에이전트 알림, 분할 화면 브라우저, CLI·소켓 API를 한 앱에 묶어 여러 코딩 에이전트 세션을 관리하고 자동화합니다. 세션 복원 범위와 라이선스는 구성 요소별로 다릅니다.
실행 중인 AI 에이전트를 세 갈래로 포크했더니 복사본마다 웹 서버가 그대로 살아 있었습니다
DigitalOcean Managed Agents의 마이크로VM을 체크포인트하고 세 갈래로 포크해 실행 상태가 복제되는지 실험했습니다. 복사본마다 같은 PID의 웹 서버가 실행 중이었고, 롤백 뒤에는 삭제한 파일과 종료한 프로세스도 복구됐습니다. 재실행보다 정확한 상태 보존이 포크의 장점이지만 체크포인트 시간과 세션별 이력 제한도 확인했습니다.
DeepGEMM: GPU용 간결·고성능 BLAS 커널 라이브러리
DeepGEMM은 NVIDIA GPU에서 대규모 언어 모델의 행렬 연산과 MoE 연산을 처리하는 CUDA 커널 라이브러리입니다. FP8·FP4·BF16 GEMM부터 통신과 연산을 겹치는 Mega MoE까지 제공하며, 설치 단계의 CUDA 컴파일 없이 런타임 JIT로 커널을 빌드합니다.
Dust: 역전파 없이 트랜스포머 사전학습하기
Dust는 가중치 대신 토큰별 활성값에 잡음을 넣고 손실 변화를 보상으로 삼아 기울기를 추정하는 제로차 최적화 방법입니다. 작은 규모 실험에서 역전파와 비슷한 성능을 보였고, 큰 모델이 더 적은 모집단 표본으로도 잘 학습되는 결과를 얻었습니다. 다만 현재는 역전파보다 계산 비용이 훨씬 큽니다.
증인이 용의자였다: AI 감사 로그를 그대로 믿을 수 없는 이유
AI 에이전트가 행동과 기록을 모두 맡으면 로그가 실제 결과가 아니라 에이전트의 주장을 담을 수 있습니다. 글은 진실을 보증하는 로그 대신 기록의 작성자와 순서를 위변조하기 어렵게 만들고, 독립된 기록끼리 대조해 불일치를 드러내는 설계를 제안합니다.
OpenAI, GPT-6 모델 선택·추론 강도·도구 사용 가이드 공개
OpenAI가 GPT-6 모델군을 업무에 맞게 고르고 추론 강도와 속도를 조절하는 방법을 정리했습니다. 프롬프트 캐싱으로 입력 토큰 비용을 모델에 따라 최대 95% 낮추고, 장시간 작업에는 조향·비동기 도구 호출·멀티 에이전트를 활용하라고 안내합니다.
특정 모델·하드웨어에 맞춘 추론 엔진이 늘어나는 이유
한 모델과 하드웨어 조합에 맞춰 만든 추론 엔진이 범용 런타임보다 빠를 수 있다는 경험을 바탕으로, 저자는 이런 엔진의 확산과 한계를 살핍니다. 범용 엔진은 기반 부품을 제공하고 전용 엔진은 성능을 끌어올리는 구도가 예상되지만, 빠른 교체에 따른 보안·유지보수 부담도 짚습니다.
Codync — Grok Bot·Muse·Dots를 대체하는 오픈소스 도구
Codync는 Claude Code, Codex, Cursor 등 40여 개 코딩 에이전트를 컴퓨터에서 실행하고, 휴대전화나 데스크톱 앱으로 원격 제어하는 오픈소스 도구입니다. 대화 기록과 에이전트 작업은 사용자 컴퓨터에 저장하며, 외부 연결에는 종단 간 암호화를 적용합니다.
Lloyal — 오픈 웨이트 모델로 다운로드 가능한 AI 앱 만들기
Lloyal은 추론 엔진과 멀티 에이전트 런타임을 한 프로세스에서 실행하는 TypeScript 기반 도구입니다. KV 캐시를 분기해 여러 에이전트가 같은 문맥에서 동시에 작업하게 하고, API 키나 별도 서버 없이 데스크톱·웹·터미널 앱으로 배포하도록 지원합니다.
Xing4.0-29B-A4B 공개 — 토큰당 4B 활성화하는 29B 모델
China Telecom이 개발한 Xing4.0-29B-A4B의 가중치와 설정 파일을 공개했습니다. 총 29B 파라미터 중 토큰마다 4B만 활성화하며, 256K 문맥 길이와 Ascend NPU 기반 학습을 지원합니다.
Aleph Alpha, 독일어·영어 특화 MoE 추론 모델 Kolibri 1 공개
Aleph Alpha가 독일어와 영어에 특화한 78B 매개변수 Mixture-of-Experts 모델 Kolibri 1을 공개했습니다. 토큰마다 활성화되는 매개변수는 3.46B이며, 최대 1M 토큰 문맥과 추론 모드, 도구 호출을 지원합니다.
GLM-5.3 무검열판 EXL3 양자화 모델 공개
Infatoshi가 GLM-5.3의 가중치를 편집한 무검열판을 EXL3 3.0bpw로 양자화해 공개했습니다. 8장의 A100 40GB에서 TabbyAPI로 구동했고, 모델 카드에는 양자화 품질 평가와 도구 호출 시 주의할 파서 동작을 기록했습니다.
Redis 창시자가 만든 ds4, 대형 언어 모델을 로컬에서 실행합니다
Redis 창시자 antirez가 고메모리 Mac과 CUDA·ROCm 장비용 C 추론 엔진 DwarfStar 4(ds4)를 공개했습니다. 비대칭 2비트 양자화와 SSD 기반 처리를 활용해 DeepSeek V4 계열 등 일부 대형 MoE 모델을 로컬에서 실행하며, 채팅·API·코딩 에이전트를 한 도구 묶음으로 제공합니다.