vLLM 모델 러너 V1/V2 선택

vLLM 모델 러너 V1/V2 선택 A workflow diagram generated by Archify. 01 / V2 선택 02 / 판정 순서 — use_v2_model_runner EX / V1 폴백 Model Runner V2 · 기본 경로 · V2 선택 Model Runner V2 기본 경로 HiSparse · 워터마킹? · 있으면 V2 고정 · 판정 순서 — use_v2_model_runner HiSparse · 워터마킹? 있으면 V2 고정 환경변수 지정 · VLLM_USE_V2_MODEL_RUNNER · 판정 순서 — use_v2_model_runner 환경변수 지정 VLLM_USE_V2_MODEL_RUNNER 플랫폼 요건 · ROCm 예외 · Triton · 판정 순서 — use_v2_model_runner 플랫폼 요건 ROCm 예외 · Triton 미지원 기능 · 15종 중 하나라도 · 판정 순서 — use_v2_model_runner 미지원 기능 15종 중 하나라도 Model Runner V1 · 폴백 · V1 폴백 Model Runner V1 폴백 미지정 (기본) 하나라도 해당 요건 미충족 V2 고정 해당 없음 =0 해당 없음 요건 충족 =1 Legend 선택 결과 게이트

기본은 V2

  • • VLLM_USE_V2_MODEL_RUNNER 기본값은 None이고, 게이트를 다 통과하면 V2
  • • HiSparse와 워터마킹은 0으로 꺼도 V2를 쓰며, HiSparse는 아예 에러

V1으로 떨어지는 조건 (일부)

  • • stock torch.compile · sequence parallelism · ngram/ngram_gpu spec decoding
  • • custom logits processors · elastic EP · mamba cache mode 'all'

반대로 V1이 못 하는 것 — 커밋 dc36fcc 기준

  • • prefill context parallel · dspark · dflash2 · diffusion · batch-sharded sampling
  • • 이때는 폴백이 아니라 ValueError — 두 목록은 서로 다른 함수