标签： MoE

Scaling Law之下，MoE（混合专家）如今已经成为各大模型厂商扩展模型能力的制胜法宝。 不过，在高效实现模型参数规模化的同时，MoE的训练难题也日益凸显： 训练效率不足，甚…

阅读全文