veGiantModel 对网络带宽要求低：veGiantModel 在带宽变化对吞吐的影响相对最小 (<10%) ， 而 DeepSpeed(ZeRO) 是对带宽要求最高的 ， 最高可达将近 5 倍的差距 。

原因解析
veGiantModel 为什么比 Megatron 和 DeepSpeed 更快？原因如下：

• ByteCCL (BytePS) 高性能异步通讯库 。
• 支持定制化的并行策略 ， 可以将性能优化推到极致 。
• 在支持数据并行、算子切分、流水线并行 3 种分布式并行策略时 ， veGiantModel 会综合考虑到跨机的带宽 ， 自动调整 toplogy 的 placement 。

传送门
veGiantModel 现已在 GitHub 上开源 ， 地址如下：
https://github.com/volcengine/veGiantModel
【性能最高提升 6.9 倍，字节跳动开源大模型训练框架 veGiantModel】GitHub 上详细介绍了如何使用 veGiantModel 以及如何使用 veGiantModel 快速跑起一个 GPT 的预训练 。 火山引擎机器学习平台原生支持了 veGiantModel ， 目前平台正在公测中 ， 欢迎大家试用：https://www.volcengine.com/product/ml-platform