Needle 3 — 모바일·임베디드 기기를 위한 초소형 도구 호출 모델
Needle 3는 모바일, 웨어러블, 로봇, 스마트홈, 자동차, 마이크로컨트롤러에서 도구 호출과 구조화된 데이터 추출, 텍스트 임베딩을 처리하는 온디바이스 모델입니다. 전체 모델 파일은 8~29MB이며, 2~20개 레이어 서브네트워크를 각 기기에 맞춰 배포하고 LoRA로 제품별 도구를 튜닝할 수 있습니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
Show HN: Cactus Needle 3 — 8~29MB 자동화 모델로 DeepSeek V4 Flash 수준을 겨냥합니다
Cactus Needle 3는 도구 호출, 구조화 데이터 추출, 임베딩에 특화한 2~20층 소형 모델 계열입니다. 9~29MB CQ2 바이너리와 Raspberry Pi 5에서 최대 4,000 tokens/s 디코딩을 내세우며, 특정 작업에 파인튜닝하면 4층 모델도 DeepSeek V4 Flash와 맞먹는 성능을 낼 수 있다고 설명합니다.