deepseek-ai/DeepSeek-V4.1-Flash-1017
DeepSeek-V4.1-Flash-1017 공개: 추론·코딩·에이전트 벤치마크 개선
DeepSeek-V4.1-Flash-1017은 기존 Flash 모델을 소폭 갱신한 모델로, 추론과 코딩, 에이전트 작업, 비전 벤치마크 점수를 높였다고 공개했습니다. 실행 시간과 출력 길이도 줄였다고 밝혔으며, 로컬 추론을 위한 안내와 프롬프트 처리 도구를 함께 제공합니다.
- 주제
에디터 노트
기존 버전보다 여러 벤치마크 점수가 오른 점은 표에서 확인되지만, 실행 시간과 비용이 줄었다는 주장은 비교 수치가 없어 점수만큼 구체적으로 검토하기 어렵습니다. 표에는 일부 경쟁 모델의 점수도 있지만, 평가 설정이 명시된 항목은 Terminal-Bench 4.0과 DeepSWE v1.1의 하네스뿐입니다. 배포 자료는 모델 가중치에 그치지 않고 프롬프트 인코딩 참조 구현과 프로덕션용 Rust 도구를 함께 제공합니다. 다만 추론과 도구 실행, HTTP 전송은 호출자가 맡으므로 deepseek-recipe가 제공하는 범위는 입출력 형식 변환과 파싱입니다. 모델 성능 개선과 통합 도구의 역할을 구분해 볼 수 있는 공개입니다.
AI 요약
DeepSeek-AI가 DeepSeek-V4.1-Flash의 업데이트 버전인 DeepSeek-V4.1-Flash-1017을 공개했습니다. 회사는 추론, 코딩, 에이전트 작업, 시각 벤치마크에서 기존 모델보다 성능을 높였고 작업 실행 시간과 출력 길이를 줄였다고 설명합니다. 평가 점수는 벤치마크마다 다르며, 공개 자료에는 실행 시간이나 비용 절감 폭을 나타내는 수치가 없습니다.
벤치마크 결과
기존 Flash와 비교하면 Terminal-Bench 4.0은 31.2에서 42.3으로, ProgramBench는 20.3에서 29.1로 올랐습니다. DeepSWE v1.1은 74.2에서 77.0, NL2Repo-Bench는 65.4에서 68.2, Automation-Bench v1.0.6은 54.8에서 60.5를 기록했습니다. 도구를 사용하는 Chartography 점수는 78.9에서 83.0, BabyVision은 89.6에서 92.5로 상승했습니다. HLE의 도구 미사용 점수는 36.8에서 42.6이며, 괄호 안 수치는 텍스트 전용 부분집합 점수입니다. Terminal-Bench 4.0에는 Claude Code 하네스, DeepSWE v1.1에는 Mini-SWE-V2 하네스를 사용했다고 밝혔습니다.
프롬프트 처리와 로컬 실행
이번 릴리스에는 Jinja 형식의 채팅 템플릿이 포함되지 않습니다. 대신 저장소의 encoding 폴더에 여러 턴 대화, 도구 호출, thinking 모드, 숫자형 추론 노력 설정, 대화 중간의 시스템 메시지, 이미지가 섞인 입력을 다루는 Python 참조 구현과 테스트를 제공합니다.
프로덕션 용도로는 Rust 라이브러리와 Python 바인딩을 제공하는 deepseek-recipe도 공개했습니다. 이 도구는 Messages, Chat Completions, Responses API 요청을 Conversation 형식으로 변환하고, DeepSeek V4·V4.1 프롬프트나 토큰 ID로 인코딩합니다. 모델 출력을 완성형 또는 스트리밍 응답으로 파싱하며 thinking, 도구 호출, 이미지와 생성 설정을 처리합니다. 모델 추론과 도구 실행, HTTP 전송은 사용자가 별도로 구현해야 합니다. 권장 설정은 temperature와 top_p 모두 1.0, 컨텍스트 윈도우 100만 토큰, 최대 출력 토큰 25만 6천 이상입니다. 모델 가중치와 저장소에는 MIT 라이선스를 적용합니다.
원문: Hugging Face / 번역·요약: Trawling