Qwen4 추론을 위한 Intel XPU 커널 PR

Intel XPU용 vLLM 커널에 Qwen4 경로와 FP8, INT4, GDN, HC 등의 최적화를 모은 PR입니다. 여러 단위 테스트와 제한된 추론 측정 결과를 제시하지만, Qwen4 실제 QSA 가중치로 전체 모델을 검증한 것은 아닙니다.

주제: AI 하드웨어 개발 도구

에디터 노트

이 PR에서 확인할 수 있는 성과는 Intel XPU용 Qwen4 연산 경로와 그 주변 계약을 묶고 테스트한 범위입니다. 단위 테스트와 제한된 vLLM 실행 결과는 구현이 여러 입력 조건에서 작동한다는 근거가 되지만 실제 QSA 체크포인트 기반 전체 모델 검증은 아닙니다. 특히 일부 성능 수치는 단일 본 측정이거나 개별 커널 결과이므로 전체 추론 성능의 일반적인 개선으로 읽을 근거가 부족합니다. 댓글의 KV cache 관련 해석도 PR이 직접 입증한 내용과 구분해야 합니다. 댓글은 cache 크기가 그대로라는 이미지와 context window가 커질 수 있다는 추측을 제시하지만 PR 본문에는 모델의 최종 메모리 구성이나 context 길이가 확정됐다는 근거가 없습니다. 따라서 이 변경은 Qwen4 출시 정보라기보다 XPU 추론 지원을 준비하는 커널 작업의 기록으로 보는 편이 정확합니다.

AI 요약

Intel XPU에서 vLLM으로 Qwen4 계열 모델을 실행하도록 커널과 Python 진입점을 추가하고, FP8·INT4·GDN·HC 등 여러 연산 경로를 통합한 PR입니다. 앞선 개발 변경을 한데 모아 정리한 제출이며, PR 설명은 최종 소스가 정리 전 개발 버전과 같다고 밝힙니다. 따라서 새 구현의 성능이나 정확도를 이번에 새로 입증했다기보다, 기존 구현과 검증 기록을 한곳에 모은 변경으로 읽어야 합니다.

Qwen4 실행 경로와 커널

새 경로는 Qwen4의 dense 및 관련 TP 구성을 대상으로 norm, combine, gate mix, GDN, attention 전후 처리 등을 제공합니다. 일부 연산은 TP1·TP2·TP4·TP8 형태를 지원하며, FP16 반올림 경계와 FP32 계산 순서, 실시간 가중치 갱신, 현재 stream 사용 같은 기존 계약을 유지하도록 했습니다. 입력 모양이나 ABI가 지원 범위를 벗어나면 제출 전에 기존 경로로 되돌립니다. vLLM 쪽에서도 특정 dense·TP 설정과 FULL_DECODE_ONLY 조건에서만 새 API를 사용하도록 의존성을 둡니다.

FP8 경로는 E4M3의 NaN 인코딩 0x7f와 0xff를 유한값으로 잘못 읽던 문제를 수정하고, 나머지 유한 인코딩은 유지합니다. QKV, router, MoE 호출 전에는 장치와 모양, stride, 메모리 별칭을 검사합니다. MoE tile-map 크기를 routed row 수에 맞추고 gather 작업의 끝부분을 보호하며, workspace와 routing scratch를 장치·stream·M별로 분리합니다. refresh_weights는 live weight와 별칭을 먼저 확인한 뒤 연속 복사본을 갱신해 graph 캡처 주소를 유지합니다.

테스트와 측정 범위

PR은 native 커널과 수학 참조, 동적 graph, 비기본 stream, 가중치 갱신, alias 및 ABI 검사를 포함한 여러 테스트 결과를 기록합니다. 한 검증에서는 native smoke 테스트가 candidate와 default 각각 1,417건 통과했고, 별도 Qwen4 관련 경로에서는 555건의 FP8/GDN/HC 테스트와 221건의 INT4 테스트가 통과했다고 보고합니다. 다만 이 수치는 PR에 기재된 개별 시험의 결과이며, 전체 모델의 정확성 검증과 같지 않습니다.

일부 측정은 특정 커널이나 배치·입력 조건에 한정됩니다. 예를 들어 K768 연산의 약 20.9% 개선은 개별 연산 측정으로 명시됐고, HC 용량 상한을 4096에서 8192로 바꾼 TP8 측정은 각 지점에서 예열 1회와 본 측정 1회만 수행했습니다. FP8·INT4 추론의 토큰 지연과 GSM20 점수도 특정 설정에서 얻은 값이며, 모든 모델과 입력에서의 성능이나 정확도를 보장하지 않습니다. 실제 Qwen4 QSA 체크포인트가 없어 해당 경로는 설정과 연산자 계약을 확인했을 뿐, QSA 모델의 end-to-end 실행을 검증하지 않았다고 PR은 밝힙니다.

Reddit 반응

@brainExploded99 — PR 링크를 공유하며 작성자가 Intel 저장소와 vLLM에 기여한 이력이 있고 Qwen3.8 작업도 했다고 설명합니다. 작성자와 Alibaba 또는 Zhejiang Lab의 임원 이름이 같을 수도 있다고 덧붙입니다.
@brainExploded99 — 후속 댓글에서 vllm-xpu-kernels에 Intel 소속으로 보이는 기여자가 여럿 있고, 작성자가 별도 Intel 저장소 llm-scaler에도 기여했으며 vLLM 본 저장소에 PR을 낸 적도 있다고 설명합니다.
@MiaIsOut — KV cache 크기는 바뀌지 않았다는 이미지 링크를 공유합니다.
@CiobanuXashi — 27B 모델에서 KV cache가 그대로라면 토큰당 메모리가 줄지 않는 점이 눈에 띄며, 대신 context window가 늘었을 것이라고 추측합니다.
@Alternative_You3585 — 별 이름 없는 저장소의 별 수가 적다며 내용이 부실할 가능성을 걱정하고, PR에 Codex가 표시된 점을 언급합니다.

원문: GitHub PR / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗