跳到主要内容

推理部署(vLLM + SGLang)生产笔记

本文目的:补全 I_大语言模型笔记 §7 推理部署的"原理 → 生产"缺口。原理(自回归循环、KV cache 结构、PagedAttention 思想)已在 Hub/01_大语言模型笔记 §7.1-§7.7 覆盖;本文专注于:怎么把模型启动成一个生产可观测、可调优的服务。 由旧稿重构而来;旧稿仅是外部链接清单,当前以本文为准。

阅读地图​

§主题一句话定位
1vLLM 概述项目背景与生态
2vLLM 启动命令vllm serve 典型用法与 OpenAI 兼容 API
3vLLM 显存优化PagedAttention / prefix caching / chunked prefill / 量化 / 多卡并行 + 关键参数
4vLLM 并发与吞吐continuous batching / speculative decoding / 调度参数
5vLLM 可观测性Prometheus 指标完整清单 / Grafana / bench / 日志 / V0 vs V1
6vLLM 调优 checklist显存、吞吐、监控三组定位清单
7SGLang 概述LMSYS 出品、RadixAttention、与 vLLM 的关系
8SGLang 启动命令python3 -m sglang.launch_server 完整 ServerArgs
9SGLang 显存与吞吐mem-fraction-static / radix cache / 多卡 / 量化
10SGLang 并发与吞吐zero-overhead 调度 / cache-aware 路由 / speculative
11SGLang 可观测性sglang: 前缀指标 / 官方 Grafana / 日志
12vLLM vs SGLang 横向对比共同点 / 差异表 / 选型建议 / 互操作
13来源链接全部参考链接按章节分组

1. vLLM 概述​

vLLM 是 UC Berkeley RISELab 2023 年开源的高吞吐 LLM serving 系统,论文 PagedAttention (arXiv:2309.06180) 与 vLLM 发布博客 把 KV cache 的显存浪费从传统系统的 60-80% 降到 <4%,单卡吞吐最高相对 HF Transformers 24×、相对 HF TGI 3.5×。

当前主要使用方:

  • LMSYS Chatbot Arena:vLLM 部署服务 Chatbot Arena 部分模型(与 SGLang、ORT 并行承担),原报告单卡吞吐提升 30×、GPU 数量 -50%。
  • Anyscale(vLLM 商业运营方):在 Anyscale × Google GKE 联合博客 披露 Llama-3-70B 上开 prefix caching + FP8 KV cache 后吞吐 +2.1×、P99 TTFT -40%。
  • Modal / BentoML / AWS Neuron / 阿里云 PAI:均有官方生产案例。

2. vLLM 启动命令​

最小启动(OpenAI 兼容服务):

vllm serve meta-llama/Meta-Llama-3-8B-Instruct \
--host 0.0.0.0 --port 8000 \
--gpu-memory-utilization 0.92 \
--max-model-len 8192

启动后默认监听 http://0.0.0.0:8000,同时提供:

  • OpenAI 兼容端点:/v1/chat/completions、/v1/completions、/v1/embeddings(可直接用 OpenAI SDK / curl)
  • Prometheus 指标:/metrics(V0 在启动日志中提示,V1 默认开启)
  • 健康检查:/health

典型生产命令(融合 prefix caching + chunked prefill + KV cache 量化):

vllm serve meta-llama/Meta-Llama-3-70B-Instruct \
--host 0.0.0.0 --port 8000 \
--tensor-parallel-size 8 \
--gpu-memory-utilization 0.95 \
--max-model-len 16384 \
--max-num-seqs 256 \
--max-num-batched-tokens 8192 \
--kv-cache-dtype fp8_e4m3 \
--quantization awq \
--enable-prefix-caching \
--enable-chunked-prefill \
--enable-log-requests

来源:Engine Args 官方文档。


3. vLLM 显存优化​

3.1 PagedAttention 原理回顾(与 G1 的关联)​

把 KV cache 切成固定 token 数的 block(如 16 tokens),用 block table 做逻辑块到物理块的映射,借鉴 OS 虚拟内存:

  • block table 维护 (请求 → 物理 block 序列) 映射
  • copy-on-write + 引用计数 让 parallel sampling / beam search 共享前缀 KV cache
  • 效果:浪费从 60-80% 降到 <4%(仅每序列最后一个 block 浪费),吞吐相对原系统 最高 2.2×

3.2 版本演进的关键特性​

版本特性价值
v0.4 (2024-01)Automatic Prefix Caching (APC),按 block hash 复用 KV多轮对话 / 长上下文 QA 显存与延迟双降
v0.6 (2024-09)默认开启 Chunked Prefill,长 prompt 切块与 decode 共 batchTTFT 与吞吐同步改善,长 prompt 不再独占 GPU
v0.7+V1 引擎默认,多进程 Prometheus、OpenTelemetry tracing监控与分布式追踪原生集成

来源:vLLM v0.6 博客、Automatic Prefix Caching 文档。

3.3 显存相关关键参数(v0.6 / v0.7)​

参数默认含义生产推荐
--gpu-memory-utilization0.92模型权重+KV 池占总显存比例单实例 0.9-0.95;同卡多实例按比例拆
--max-model-len模型 config最大上下文设为业务 P99(不要按 max_position_embeddings)
--max-num-seqs256单步并发序列数受 KV 容量限制,配合监控 vllm:num_requests_running
--max-num-batched-tokens2048单步总 token 上限长 prompt 提到 4096-8192 提高 chunked prefill 利用率
--block-size16每 block token 数长上下文可试 32;与 prefix cache 粒度权衡
--cpu-offload-gb0每 GPU CPU offload(GiB)0.5-4 GiB,装下大模型但拖慢 forward,需 NVLink
--num-gpu-blocks-overrideNone强制 block 数仅调优 / 测试用
--enable-prefix-cachingv0.6+ True启用 APC多轮 / RAG 必开
--kv-cache-dtypeautoKV 精度:fp8_e5m2 / fp8_e4m3 / nvfp4FP8 KV → 等效并发翻倍,精度几乎无损

来源:Engine Args 官方文档、Metrics Design。

3.4 量化对显存的影响​

加载方式统一:LLM(model=..., quantization="awq"/"gptqmodel"/"bitsandbytes"/"fp8") 或 CLI --quantization <method>。

格式位宽相对 FP16 显存说明
AWQINT4~25%Marlin kernel,Ampere+ 加速
GPTQ / GPTQModelINT4~25%Marlin / Machete kernel
bitsandbytes NF44-bit~25%bitsandbytes>=0.49.2,在线量化
FP8 (W8A8)FP8~50%Hopper (H100/H200) 最佳

典型收益:70B 模型 FP16 ~140GB → AWQ INT4 ~35GB,可装进单张 A100-80G;FP8 再砍半。

来源:Quantization 总览。

3.5 多卡相关​

维度切分方式显存效果
--tensor-parallel-size(TP)单层切多卡(attn head / FFN 维度)权重 ≈ 1/N,KV ≈ 1/N,NVLink 效率高
--pipeline-parallel-size(PP)按层切多卡权重 1/N 但 KV 不切,气泡大,跨节点大模型用
--enable-expert-parallel(EP)MoE 专家切多卡专家权重 1/N,其他部分走 TP

建议:单节点 70B+ Dense → TP;跨节点或 70B+ MoE → TP × EP。

来源:vLLM MoE 支持 Issue。


4. vLLM 并发与吞吐​

4.1 Continuous Batching​

每个 token 生成步后重新调度,新请求可立即插入。GPU 利用率从静态 batching 的 ~30% 提升到 80%+,吞吐提升 10×+。

实现位于 vLLM 的 scheduler(vllm/v1/engine_core.py),与 prefix caching / chunked prefill 深度集成。

4.2 Chunked Prefill(v0.6+ 默认)​

把长 prompt 切成小块(--max-num-batched-tokens / 2 之类)与 decode 共 batch,降低 prefill 阶段对 KV 的瞬时占用,避免长请求独占 GPU。

实际效果(Anyscale × GKE 联合案例):长 prompt 场景 decode batch 翻 1.8×。

4.3 Prefix Caching​

按 block hash 自动匹配 KV cache 块,多轮对话 / RAG 场景命中率常 >60%。

LMSYS 接入 vLLM 后单卡吞吐 30×,GPU 数量 -50%。

4.4 Speculative Decoding​

用一个小 draft model 一次猜 k 个 token,大模型一次 verify k 个,保真输出分布(接受/拒绝规则保证与原模型一致),典型加速 2-3×。

启动方式:--speculative-model <draft-model> --num-speculative-tokens 5。

4.5 调度相关参数​

参数推荐范围说明
--max-num-seqs128 - 512受 KV 池容量限制,超过会被抢占
--max-num-batched-tokens4096 - 16384长 prompt 场景提到 4096+
--scheduler-delay-factor0 - 10控制调度延迟因子(生产一般不动)
--num-lookahead-slots0speculative 时的预分配槽位

监控 vllm:num_preemptions,出现频繁抢占时调小 max-num-seqs 或 max-model-len。

来源:vLLM blog、LMSYS SGLang blog 2024-01。


5. vLLM 可观测性​

5.1 Prometheus 指标完整清单​

来源:Production Metrics 文档 与 Metrics Design。所有指标带 model_name 标签。

Counter(单调递增)​

指标说明
vllm:request_success(V1;V0 为 vllm:request_success_total)成功请求数
vllm:corrupted_requests损坏请求数
vllm:prompt_tokensprompt token 总数
vllm:prompt_tokens_cachedprefix cache 命中 token 数
vllm:prompt_tokens_by_source按数据源拆分(OpenAI / HTTP / engine 等)
vllm:generation_tokens生成 token 总数
vllm:prefix_cache_queries / vllm:prefix_cache_hitsprefix cache 查询 / 命中次数
vllm:external_prefix_cache_queries / vllm:external_prefix_cache_hits外部 prefix cache(多实例共享)
vllm:mm_cache_queries / vllm:mm_cache_hits多模态 cache
vllm:num_preemptions请求抢占次数
vllm:spec_decode_num_accepted_tokens_per_posspeculative accepted token 数
vllm:nixl_num_failed_notifications / vllm:nixl_num_failed_transfers / vllm:nixl_num_kv_expired_reqsNIXL KV connector
vllm:estimated_flops_per_gpu_total 等 MFU 系列需 --enable-mfu-metrics

Gauge(实时状态)​

指标说明
vllm:num_requests_running正在处理的请求数
vllm:num_requests_waiting / vllm:num_requests_waiting_by_reason排队请求数(可按原因拆分)
vllm:kv_cache_usage_perc(V0 为 vllm:gpu_cache_usage_perc)KV 缓存利用率,0-1
vllm:lora_requests_info当前活跃 LoRA(值 = wall-clock)
vllm:engine_sleep_state引擎睡眠状态

Histogram(分布)​

指标说明
vllm:time_to_first_token_seconds(TTFT)首个 token 延迟
vllm:inter_token_latency_seconds(TPOT / ITL)token 间延迟
vllm:e2e_request_latency_seconds端到端延迟
vllm:request_queue_time_seconds排队时间
vllm:request_prefill_time_seconds / vllm:request_decode_time_seconds / vllm:request_inference_time_secondsprefill / decode / 推理总时间
vllm:request_time_per_output_token_seconds旧 time_per_output_token_seconds 的规范化名
vllm:request_prompt_tokens / vllm:request_generation_tokens请求级 token 数
vllm:request_max_num_generation_tokens / vllm:request_params_n / vllm:request_params_max_tokens请求级参数
vllm:request_prefill_kv_computed_tokens / vllm:iteration_tokens_totalprefill 计算的 KV token
vllm:kv_block_lifetime_seconds / vllm:kv_block_idle_before_evict_seconds / vllm:kv_block_reuse_gap_secondsKV block 生命周期
vllm:model_forward_time_milliseconds / vllm:model_execute_time_millisecondsOpenTelemetry + --collect-detailed-traces

5.2 Grafana / Prometheus 集成​

vLLM 仓库自带可一键启动的监控栈:

examples/observability/prometheus_grafana/
├── docker-compose.yaml
├── prometheus.yaml
├── grafana.json # 单端口 vLLM dashboard
└── README.md

官方提供更多 dashboard JSON:

  • examples/observability/dashboards/grafana/performance_statistics.json —— 延迟 / 吞吐 / 性能
  • examples/observability/dashboards/grafana/query_statistics.json —— 请求量 / KPI
  • examples/observability/dashboards/perses/ —— Perses 模板
  • examples/observability/opentelemetry/ —— OTel 集成示例

启动后端口:

  • vLLM 8000/metrics
  • Prometheus 9090
  • Grafana 3000(admin/admin)

来源:examples/observability/README。

5.3 vllm bench CLI​

来源:Benchmark CLI 文档。

子命令用途关键参数
vllm bench serve在线压测--model --dataset --num-prompts --request-rate(inf = 最大吞吐) --max-concurrency --burstiness --ramp-up-strategy {linear,exponential} --backend {vllm,openai-chat,...} --plot-timeline --save-result
vllm bench throughput离线吞吐--model --dataset --num-prompts --max-num-seqs

输出 JSON schema:

{
"successful_requests": 200,
"total_input_tokens": 50000,
"total_output_tokens": 80000,
"request_throughput": 12.5,
"output_token_throughput": 5000.0,
"total_token_throughput": 8125.0,
"mean_ttft_ms": 120, "median_ttft_ms": 95, "p99_ttft_ms": 380,
"mean_tpot_ms": 35, "median_tpot_ms": 30, "p99_tpot_ms": 110,
"mean_itl_ms": 35, "median_itl_ms": 30, "p99_itl_ms": 110
}

来源:Benchmark 文档。

5.4 日志配置​

参数 / 环境变量默认说明
--enable-log-requestsFalse记录 Request ID / 参数 / LoRA(VLLM_LOGGING_LEVEL=INFO)
--enable-log-outputsFalse记录生成内容(注意 PII)
--enable-log-deltasTrue增量式输出日志
--disable-log-statsFalse关闭统计日志
--uvicorn-log-levelinfo仅控制 uvicorn 访问日志
VLLM_LOGGING_LEVEL 环境变量INFO决定 --enable-log-requests 详细级别

来源:vllm serve CLI 文档。

5.5 V0 vs V1 引擎可观测性差异​

V1(v0.7+ 默认开启,VLLM_USE_V1=1)对指标体系有较大改造:

  • 命名规范化:vllm:gpu_cache_usage_perc → vllm:kv_cache_usage_perc,移除 V0 中未实现的 vllm:avg_prompt_throughput_toks_per_s / vllm:tokens_total
  • 更细 Histogram:request_params_n / request_max_num_generation_tokens / request_prefill_kv_computed_tokens / num_requests_waiting_by_reason
  • 新增 NIXL KV connector 指标(vllm:nixl_*)与可选 MFU 指标(--enable-mfu-metrics)
  • Multiprocess Prometheus:V1 重写注册代码(vllm/v1/metrics/prometheus.py),贴近官方 multiprocess mode

V0 中未在 V1 继续支持的:阶段时间 request_forward_time_seconds / request_execute_time_seconds,已统一收敛到 request_prefill_time_seconds / request_decode_time_seconds / request_inference_time_seconds。


6. vLLM 调优 checklist​

显存定位:

  1. 业务监控 vllm:kv_cache_usage_perc —— 目标 >75%
  2. 长 prompt 开启 chunked prefill(v0.6+ 默认)
  3. KV cache 可试 --kv-cache-dtype fp8_e4m3(等效并发翻倍,精度几乎无损)
  4. 多实例同卡:每个实例 --gpu-memory-utilization 按比例拆

吞吐定位:

  1. 监控 rate(vllm:prompt_tokens_total[1m]) 与 rate(vllm:generation_tokens_total[1m]) 算 token/s
  2. vllm:num_requests_waiting_by_reason 拆分队列延迟原因
  3. vllm:num_preemptions 接近 0;不为 0 时调小 --max-num-seqs
  4. 多轮 / RAG 必开 prefix caching,命中率 >60% 收益明显

监控面板建议:四组面板

  1. 吞吐:token/s、RPS、output token throughput
  2. 延迟:P50 / P99 TTFT、TPOT、ITL、E2E(用 histogram_quantile)
  3. 队列 / 调度:num_requests_running / num_requests_waiting{by_reason} / num_preemptions
  4. KV 与内存:kv_cache_usage_perc、prefix cache hit rate、KV block 生命周期

7. SGLang 概述​

SGLang 是 LMSYS 团队(也是 Chatbot Arena 运营方)开发的高性能 LLM serving 框架,论文 arXiv:2312.07104,v0.4+ 官方宣称全球 40 万+ GPU、每日数万亿 token 的生产规模。

核心创新:RadixAttention

  • 用 radix tree(前缀树的紧凑紧凑形式)维护"prompt → KV cache tensor"映射
  • KV cache 不立即释放,跨请求自动复用
  • 树存在 CPU、tensor 以 paged layout 存 GPU,LRU 递归驱逐叶子
  • frontend 始终发全量 prompt,runtime 自动匹配,手动配置成本为 0

与 vLLM PagedAttention 的区别:

  • PagedAttention 只解决显存碎片(KV 在 block 内连续物理布局)
  • RadixAttention 在此之上加"跨请求自动前缀复用",多轮对话 / 长 system prompt 场景命中率显著更高

来源:LMSYS RadixAttention blog、arXiv:2312.07104。

其他独创点:

特性价值
Compressed FSM / XGrammar(v0.4+)把 regex/grammar 编译为 FSM,JSON 解码延迟降 2×、吞吐升 2.5×
Zero-Overhead Batch Scheduler(v0.4)CPU 调度与 GPU 计算重叠,吞吐 +1.1×
Cache-Aware Load Balancer(v0.4)Rust router,缓存命中率 20% → 75%,路由命中后吞吐最高 1.9×
DP Attention(≥v0.4)DeepSeek MLA 单 KV head,避免 TP 重复
PD Disaggregation(v0.5+)prefill/decode 拆节点,GB200 NVL72 解码 2.7×/GPU

来源:Compressed FSM blog 2024-02、v0.4 blog 2024-12、GB200 PD Part I。


8. SGLang 启动命令​

最小启动:

python3 -m sglang.launch_server \
--model-path meta-llama/Llama-3.1-8B-Instruct \
--host 0.0.0.0 --port 30000

启动后默认监听 http://0.0.0.0:30000:

  • OpenAI 兼容:/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/.../vision
  • 原生:/generate、/parse_function_call
  • 离线:sgl.Engine(...).generate(...)

典型生产命令:

python3 -m sglang.launch_server \
--model-path meta-llama/Llama-3.1-8B-Instruct \
--host 0.0.0.0 --port 30000 \
--mem-fraction-static 0.85 \
--max-running-requests 256 \
--chunked-prefill-size 8192 \
--tp-size 2 --dp-size 4 \
--attention-backend flashinfer \
--quantization awq \
--enable-metrics --enable-mfu-metrics \
--tool-call-parser qwen25 \
--log-level info

踩坑提醒:社区博客常见 --enable-prefix-caching / --chunked-context,但当前 ServerArgs 用 --chunked-prefill-size + --disable-radix-cache=False 等价;二者混用会触发报错。

来源:ServerArgs 源码、SGLang send_request 文档。


9. SGLang 显存与吞吐​

9.1 关键 ServerArgs​

参数默认说明
--mem-fraction-staticNone(自动算)模型权重 + KV cache pool 占总显存;OOM 时下调
--max-running-requestsNone(无上限)并发请求上限
--chunked-prefill-sizeNone / -1 禁用每块 prefill token 数(≥v0.2)
--disable-radix-cacheFalse(默认开 Radix)关闭前缀缓存
--tp-size / --dp-size1张量并行 / 节点内数据并行
--attention-backend自动flashinfer / fa3 / fa4 / triton / cutlass_mla / flashmla 等
--prefill-attention-backend / --decode-attention-backend自动拆分 prefill / decode 阶段 backend
--quantizationNoneawq / gptq / marlin / bitsandbytes / gguf / fp8 / mxfp8 / w8a8_int8 等 ≥30 种
--page-size默认KV paged layout page size

9.2 显存切分逻辑​

GPU 显存按 mem-fraction-static 一次性预留「权重 + KV cache pool」;KV pool 内部按 page_size 分页;TP / DP / EP 三种并行可叠加。

9.3 多卡组合​

维度切分方式
--tp-size张量并行,单层切多卡
--dp-size单节点多副本(独立 KV / 独立调度),靠 prefix cache 命中提升
--enable-dp-attentionDP 时 attention 维度通信(DeepSeek MLA 用)

来源:SGLang DP Attention 文档。

9.4 量化​

≥30 种选项,覆盖 INT4 / FP8 / GGUF / AWQ / GPTQ / Marlin / bitsandbytes 等。命令行 --quantization awq_marlin 直接加载预量化模型。


10. SGLang 并发与吞吐​

10.1 Zero-Overhead Continuous Batching​

调度实现于 python/sglang/srt/managers/scheduler.py。v0.4 改造为 zero-overhead:CPU 调度与 GPU 计算重叠,吞吐 +1.1×。

10.2 Cache-Aware Load Balancer(v0.4+)​

纯 Rust 实现的 router,多副本场景下基于 KV cache 命中路由请求。在 v0.4 博客的真实负载数据:

  • 缓存命中率 20% → 75%
  • 路由命中文本后路由吞吐最高 1.9×

10.3 Speculative Decoding​

支持算法:EAGLE / EAGLE-2 / EAGLE-3 / MTP / DFLASH / NGRAM / STANDALONE / NEXTN(≥0.3 起 EAGLE 默认 ON)。

关键参数:--speculative-algorithm / --speculative-draft-model-path / --speculative-num-steps / --speculative-eagle-topk / --speculative-num-draft-tokens / --speculative-attention-mode {prefill,decode}。

benchmark 数据(LLaMA-3.1-8B,1×H100 MT bench):无 spec 158 tok/s → EAGLE-2 244 → EAGLE-3 373。

来源:SGLang spec 文档。

10.4 PD Disaggregation(v0.5+)​

把 prefill 和 decode 拆到不同节点,专用于超大规模推理。GB200 NVL72 解码 2.7×/GPU。

来源:GB200 PD blog 2025-06。

10.5 vLLM 与 SGLang 公开 benchmark 对比​

来源:LMSYS Llama3 bench blog 2024-07。

场景结果
Llama-70B 离线SGLang 3.1× vLLM
Llama-8B 单卡 A100(短输入)SGLang 与 TRT-LLM 同档(≈5000 tok/s),均优于 vLLM
Online RPS>10SGLang 延迟稳定,vLLM 激增
前缀缓存测试关闭 prefix cache 的公平对比,确保差异来自引擎本身

注意:上述结果发布于 2024-07,vLLM 与 SGLang 都在持续演进;当代 benchmark 请自行 vllm bench serve + sglang 等价物对比。


11. SGLang 可观测性​

11.1 Prometheus 指标(sglang: 前缀)​

启动参数:--enable-metrics --enable-mfu-metrics。访问 http://localhost:30000/metrics。

Counter:

指标说明
sglang:prompt_tokens_totalprompt token 总数
sglang:generation_tokens_total生成 token 总数
sglang:request_success_total成功请求总数

Gauge:

指标说明
sglang:token_usageKV token 使用率
sglang:cache_hit_rateradix cache 命中率
sglang:num_running_reqs运行中请求数
sglang:num_used_tokens已用 token 数
sglang:gen_throughput生成吞吐(tok/s)
sglang:num_queue_reqs队列请求数

Histogram:

指标说明
sglang:time_to_first_token_secondsTTFT
sglang:e2e_request_latency_secondsE2E 延迟
sglang:time_per_output_token_secondsTPOT
sglang:func_latency_seconds{label=""}按 label 拆分延迟

MFU(需 --enable-mfu-metrics):

指标说明
sglang:estimated_flops_per_gpu_total估算的 GPU FLOPs

命名注意:SGLang 指标以 sglang: 前缀,与 vLLM 的 vllm: 不自动映射;采集 / 告警需要分别配置。

来源:production_metrics。

11.2 官方 Grafana Dashboard​

仓库自带:

examples/monitoring/
├── docker-compose.yaml # 一键起 Prometheus + Grafana
├── grafana/dashboards/json/sglang-dashboard.json
└── prometheus/prometheus.yaml

11.3 日志配置​

参数默认说明
--log-levelinfowarning / info / debug
--log-requestsFalse记录请求轨迹
--request-timeoutNone请求超时

日志默认输出 JSON 行,便于对接 Loki / ELK。


12. vLLM vs SGLang 横向对比​

12.1 共同点(都已具备)​

  • OpenAI 兼容 API (/v1/chat/completions 等)
  • Continuous batching(vLLM 早期提出,SGLang v0.4 后 zero-overhead 重叠)
  • KV cache 分页(PagedAttention 系)
  • Tensor / Pipeline / Expert parallel 多卡并行
  • 量化:FP8 / INT8 / INT4 / GPTQ / AWQ / GGUF
  • Speculative decoding(EAGLE 系列 / n-gram 等)
  • 多模态(vLLM-Omni 演进 / SGLang VLM 原生)

12.2 差异表​

维度vLLMSGLang倾向
KV cache 管理PagedAttention(block 分页)PagedAttention + RadixAttention(前缀树自动复用)多轮对话 / 长 system prompt 共享 → SGLang 优
通用 LLM serving非常成熟,PMC 级成熟,LMSYS 主理大体相当
Agent / structured outputxgrammar / guidance / outlines 后端DSL 原生(gen / select / function);XGrammar compressed FSM 10× JSONSGLang 略优
显存调优粒度细粒度参数(几十个)相对简洁,ServerArgs 自动调优vLLM 参数多
吞吐量 baseline长期领先共享前缀场景反超,部分场景接近 / 超过 vLLM看场景
工具生态HF 生态整合深(PEFT / TRL / LM Eval)独立生态,已集成 DSPy / LangChain看已有栈
多模态vLLM-Omni 演进,原生支持 LLaVA/Qwen2-VL原生支持 LLaVA/Qwen2-VL大体相当
K8s / 部署工具Anyscale / BentoML / 社区 Helm 齐全主要靠社区,官方 Helm 较薄vLLM 更成熟
监控Prometheus + Grafana 模板齐全,V1 引擎内置 OTelPrometheus 逐步补齐,官方 docker-compose + Grafana JSONvLLM 更成熟
社区2000+ 贡献者,PMCLMSYS 主导,活跃vLLM 用户更多
生产规模披露Anyscale / AWS / 阿里云大规模使用「全球 40 万+ GPU、每日数万亿 token」都有大用户

12.3 选型建议​

  1. 纯文本 LLM serving(chat / completion):默认 vLLM,生态、K8s 模板、社区最大。
  2. 多轮对话 / agent / tool use 密集:SGLang 值得一试,RadixAttention 自动复用 system prompt 与历史 prefix,TTFT 与吞吐改善明显。
  3. HF Transformers 生态深度集成(HF Hub / PEFT / TRL):vLLM 集成成本更低。
  4. 已有 K8s + Prometheus + Grafana 体系:vLLM 集成模板成熟(examples/observability/ 一键启)。
  5. 结构化输出(JSON / Regex / EBNF)密集:SGLang 的 XGrammar 后端更快。
  6. 超大规模部署:两者都有大规模生产案例,按团队熟悉度选。

12.4 互操作 / 共存​

  • 同集群双引擎:用 OpenAI 兼容 API 解耦——文本 chat 走 vLLM,agent / tool use 走 SGLang,客户端调用方式一致,迁移成本低。
  • DSPy 集成:SGLang 已作为 backend 集成至 DSPy PR #263,同一份程序可在两引擎间切换。
  • 混合 KV cache 思路:vLLM 0.6+ 引入了 prefix caching(--enable-prefix-caching),业务若有大量共享前缀但想用 vLLM 生态,可开启。
  • LLaVA 在线 demo:https://llava.hliu.cc/ 由 SGLang 提供服务。

注意事项:两者 KV cache 物理布局不兼容,prefix cache 不能跨引擎共享;同集群部署注意端口与 GPU 资源隔离。


13. 来源链接汇总​

vLLM​

SGLang​

互操作​


配套 demo​