2025年04月26日

2

阅读

AI/大数据

模型量化：大模型的减肥手册LLaMA-70B 需要 140GB 显存，你有吗？没关系，量化一下，35GB 就够了。再狠一点，4-bit 量化，18GB 搞定。

已经到底啦~