vLLM：大模型推理的速度与激情
前言：推理的瓶颈在哪里？你训练好了一个大模型，部署上线，结果发现：单次请求延迟 5 秒并发 10 个用户就卡死GPU 利用率只有 30%每天的 GPU 费用让你肉疼问题出在哪？大模型推理有两个阶段：Prefill（预填充）：处理用户输入，计…
12 0
11 分钟 阅读全文
标签
vLLM
共 2 篇文章
DeepSeek 本地部署与训练：穷人的 GPT-4 平替
前言：DeepSeek 凭什么这么火？今年初，DeepSeek 横空出世：DeepSeek 的"逆天"之处：维度GPT-4DeepSeek-V3参数量1.8T（传闻）671B（MoE，激活 37B）训练成本$100M+$5.5M开源❌✅可商…
5 0
7 分钟 阅读全文
没有更多了