标签 MoE 下的文章 - 乔人尹

搜索

MoE • 共1篇

MoE：用更少的计算训练更大的模型

MoE：用更少的计算训练更大的模型

2025年08月02日

0

阅读

MoE：用更少的计算训练更大的模型 GPT-4 据传有 1.8 万亿参数，但推理时只激活一部分。这就是 MoE——用"专家分工"实现四两拨千斤。