文章图片

图 3：在端到端性能方面 ， Tutel 在 Meta 的 1.1 万亿参数的 MoE 语言模型中使用 64 个 NDm A100 v4 节点实现了 40% 以上的加速 。
MoE 技术前景广阔 ， 它可以基于许多领域的技术 ， 实现整体训练 ， 例如系统路由、海量节点的网络平衡 ， 甚至可以从基于 GPU 的加速中受益 。 微软亚洲研究院展示了一个高效的 MoE 实现方式 ——Tutel ， 它比 fairseq 框架有着显著的进步 。
现在 ， Tutel 也已集成到了 DeepSpeed 框架中 。 相信 Tutel 和相关的集成将使更多 Azure 服务受益 ， 特别是对于那些希望高效扩展自有大型模型的客户 。 今天的 MoE 仍处于早期阶段 ， 需要付出更多努力才能充分发挥 MoE 的潜力 ， 因此研究员们也将继续优化 Tutel ， 希望未来可以给大家带来更多令人兴奋的研究和应用成果 。