标签 vLLM 下的文章 - 乔人尹

搜索

vLLM • 共1篇

vLLM：大模型推理的速度与激情

vLLM：大模型推理的速度与激情

2025年05月03日

1

阅读

vLLM：大模型推理的速度与激情同样的模型，同样的 GPU，吞吐量差 10 倍。这不是玄学，这是 vLLM。