StableLearn Logo

搜索内容

9 篇文章

MoE 混合专家模型

了解 MoE 架构、总参数与激活参数的差异,阅读相关模型发布和部署解读。

比较 MoE 模型时区分总参数、激活参数和实际显存占用,不能仅凭激活参数估算部署成本。结合量化、专家并行和推理框架支持阅读技术报告。