vllm-sr/d3
vllm-sr/d3: 텍스트·이미지·영상을 다루는 27B 의사결정 모델
vLLM Semantic Router 팀이 선택지 분류, 예·아니요 판단, 점수 평가를 한 번에 처리하는 멀티모달 모델 d3를 공개했습니다. 공개 리더보드 성능과 AMD Instinct MI325X에서의 처리량을 제시하고, Transformers와 vLLM Semantic Router에서 실행하는 방법도 안내합니다.
- 주제
에디터 노트
d3의 차별점은 답변 문장을 만드는 대신 한 번의 입력에서 여러 분류와 판단을 확률과 함께 반환한다는 점입니다. 공개 리더보드 순위와 처리량 수치도 제시했지만, 성능 수치는 특정 AMD GPU와 소프트웨어 구성에서 얻었습니다. 영상 점수와 여러 비전 벤치마크는 내부 평가 또는 근사 재구성 결과로 구분해 제시합니다. 배칭은 동시 요청이 있을 때 처리량을 높이고 여러 질문을 붙인 이미지 요청의 지연 시간도 줄였습니다. 반면 한 건씩 처리하면 AutoModel이 일부 입력에서 더 빠르며, 배칭에서는 근접한 판단이 소폭 달라졌습니다. 따라서 이 자료가 뒷받침하는 성능은 평가 조건과 사용 방식에 따라 달라집니다. 댓글 반응은 제공되지 않았습니다.
AI 요약
d3는 vLLM Semantic Router의 Decision 3.0 모델로, 텍스트나 JSON 입력에 이미지와 영상을 더해 여러 질문을 한 번에 처리합니다. 답변 문장을 생성하는 대신 선택지별 확률을 반환하며, 질문 유형은 선택, 예·아니요, 점수 평가입니다. 전체 파라미터는 26.09B이고 비전 인코더는 0.46B입니다. 라이선스는 Apache-2.0이며 Qwen/Qwen3.8-27B를 기반으로 합니다.
평가 결과
공식 Jev Decision Index 0.3.2 텍스트 보드에서 66.3점을 기록해 149개 항목 중 1위에 올랐고, 파라미터 규모가 같거나 작은 모델 중 더 높은 점수가 없어 Pareto frontier에 포함됐습니다. 공개 평가 점수는 65.45이며, 공개 요청 140,178건을 모두 처리했고 지원하지 않는 요청은 없었다고 밝혔습니다. Decision 2.0의 27B 모델보다 공식 점수는 10.4점, 공개 평가에서는 8.5점 높았습니다. 같은 기술 영역 평가와 새 도메인 작업에서는 각각 7.1점, 12.6점 앞섰다고 설명합니다.
비전 보드에서는 71.3점을 기록해 33개 항목 중 1위였습니다. 공개 점수는 74.1, 비공개 점수는 68.5입니다. 영상 평가인 Perception Test에서는 내부 평가로 19,140개 질문의 정확도 77.4%를 기록했습니다. 이 결과는 세 가지 선택지 중 하나를 고르는 방식이며, 영상은 초당 2프레임으로 읽습니다. 이미지 입력은 요청마다 여러 장을 받을 수 있고, 영상은 한 요청에 여러 개를 넣을 수 있습니다. 이미지와 영상은 각각 처리 해상도와 프레임 수 제한이 있습니다.
실행과 처리 성능
Transformers에서는 AutoModel을 불러 system_one에 입력과 질문을 전달합니다. 예시에서는 고객 문의를 반품·결제·기술 지원 중 어디로 분류할지 판단하고, 영수증 보유 여부와 긴급도를 함께 묻습니다. 같은 호출에서 텍스트와 이미지 또는 영상을 질문마다 함께 사용할 수 있습니다.
서빙 성능은 AMD Instinct MI325X 한 장에서 측정했습니다. AutoModel 기준 텍스트 한 질문의 중앙 지연 시간은 54.4ms, 이미지 한 장은 290ms, 10초 영상은 500ms입니다. vLLM Semantic Router Engine 모드는 배칭을 기본값으로 사용하며, 텍스트 한 질문에서 초당 27건을 처리하고 p99 지연 시간은 1초 미만이었다고 보고했습니다. AutoModel보다 처리량이 1.5배 높고, 영상 요청에서는 1.8배 높았습니다. 다만 단일 요청 지연 시간은 AutoModel이 텍스트에서 0.9ms, 새 이미지에서 22ms 빨랐습니다.
질문이 많은 요청에서는 Engine 모드의 차이가 달라집니다. 이미지 한 장에 질문 8개를 붙였을 때 배칭 모드는 1.56초로 AutoModel의 1.95초보다 짧았습니다. 메모리 사용량은 요청당 처리 모드에서 최대 65.4GiB, 배칭 모드에서 62.1GiB였습니다. Engine 모드는 최대 2GiB의 이미지 특징을 캐시합니다.
재현 조건과 답변 차이
수치는 ROCm 7.2, PyTorch 2.12 환경에서 측정했으며, Engine 모드는 공개 이미지보다 최신 서빙 최적화를 적용한 소스 빌드였습니다. 한 요청씩 처리할 때 같은 커널 설정을 사용하면 AutoModel과 답변이 바이트 단위로 같았다고 합니다. 자동 커널 튜닝을 사용한 비교에서는 7개 요청 유형 중 5개가 바이트 단위로 일치했고, 나머지도 판단 결과는 달라지지 않았습니다. 배칭은 공개 평가 샘플의 질문 29,339개 중 14개의 결정을 바꿨으며, 정답률은 92.109%에서 92.126%로 바뀌었습니다. Engine 모드와 Decision 3.0은 현재 개발 채널에서 제공되며, 안정 버전에 포함되기 전까지 --channel dev로 설치해야 합니다.
원문: Hugging Face / 번역·요약: Trawling