vLLM 그래프 모드가 갈리는 지점

vLLM 그래프 모드가 갈리는 지점 A workflow diagram generated by Archify. 01 / FULL — 어텐션까지 한 그래프 02 / 모드가 정해지는 순서 03 / PIECEWISE — 조각만 EX / NONE — 그래프 없음 FULL replay · mixed까지 한 그래프 · FULL — 어텐션까지 한 그래프 FULL replay mixed까지 한 그래프 VLLM_COMPILE? · splitting_ops 생성 · 모드가 정해지는 순서 VLLM_COMPILE? splitting_ops 생성 cudagraph_mode · 5종 중 확정 · 모드가 정해지는 순서 cudagraph_mode 5종 중 확정 min_cg_support · 어텐션 그룹 최솟값 · 모드가 정해지는 순서 min_cg_support 어텐션 그룹 최솟값 강등 반영 · resolve_cudagraph_mode() · 모드가 정해지는 순서 강등 반영 resolve_cudagraph_mode() 배치별 키 조회 · uniform · 토큰 수 · 모드가 정해지는 순서 배치별 키 조회 uniform · 토큰 수 PIECEWISE replay · 어텐션은 eager · PIECEWISE — 조각만 PIECEWISE replay 어텐션은 eager eager 실행 · 그래프 없음 · NONE — 그래프 없음 eager 실행 그래프 없음 후보 모드 능력 반영 확정 모드 uniform decode 설정 로드 키 없음 mixed 배치 Legend 단계 · 모드 게이트

① 설정에서 갈린다

  • • CompilationMode가 VLLM_COMPILE일 때만 splitting_ops가 채워져 PIECEWISE가 가능
  • • enforce_eager는 mode와 cudagraph_mode를 모두 NONE으로 덮어씀

② 어텐션 백엔드가 상한을 정한다

  • • ALWAYS면 mixed까지 FULL, UNIFORM_BATCH면 FULL_AND_PIECEWISE 또는 FULL_DECODE_ONLY
  • • UNIFORM_SINGLE_TOKEN_DECODE는 spec decode에서 FULL 불가, NEVER는 PIECEWISE 아니면 NONE

③ 배치마다 다시 갈린다

  • • uniform decode면 FULL 키, mixed면 완화된 PIECEWISE 키, 둘 다 없으면 NONE
  • • 토큰 수가 max_cudagraph_capture_size를 넘거나 cascade attention이면 FULL 제외