MoE

MoE：用更少的计算训练更大的模型

前言：大模型的算力困境大模型越来越大：模型参数量训练成本GPT-3175B460万美元PaLM540B900万美元GPT-41.8T?1亿美元?问题：参数量翻倍，计算量也翻倍，成本指数增长。MoE 的解决方案：模型很大，但每次只用一部分。g…