大模型MoE最新进展：从Mixtral-8x7B到LLaMA MOE，再到DeepSeek-MoE的四大开源模型

概要本文将对当前的四个开源Mixture-of-Experts (MoE)大型模型进行综述，着重介绍Mixtral 8x7B, Chinese-Mixtr...

  • littlefish
  • 2024 年 01 月 19 日
  • 1 条评论