模型量化：大模型的减肥手册
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …
0 0
10 分钟 阅读全文
标签
量化
共 1 篇文章
没有更多了
共 1 篇文章
前言：大模型太"胖"了大模型的参数量越来越大：模型参数量FP16 显存普通人能跑吗？LLaMA-7B7B14 GB⚠️ 勉强LLaMA-13B13B26 GB❌ 困难LLaMA-70B70B140 GB❌ 不可能GPT-41.8T?3.6 …