MARD1NO / PaddleFleetX

Paddle Distributed Training Examples. 飞桨分布式训练示例 Resnet Bert GPT MOE DataParallel ModelParallel PipelineParallel HybridParallel AutoParallel Zero Sharding Recompute GradientMerge Offload AMP DGC LocalSGD Wide&Deep

---

简介

PaddleFleetX旨在打造一套简单易用、性能领先、且功能强大的端到端大模型工具库，覆盖大模型环境部署、数据处理、预训练、微调、模型压缩、推理部署全流程，并支持语言、视觉、多模态等多个领域的前沿大模型算法。

最新消息 🔥

更新 (2022-09-21): PaddleFleetX 发布 v0.1 版本.

教程

• 快速开始
• 训练
  • GPT
  • VIT
  • MoCo
  • Imagen
  • Ernie
  • ProteinFolding
• 推理
• 开发规范
• 集群部署
• 部署常见问题

安装

首先，您需要准备 PaddleFleetX 所需的运行环境。我们强烈推荐您使用 Docker 的方式来安装环境 ，具体安装方式请参考Docker环境部署。其他安装方式如裸机安装，请参考裸机部署。

环境安装完成后，您可以使用以下命令将 PaddleFleetX 下载到本地，然后根据实际需要、参考教程运行相应的模型代码。

git clone https://github.com/PaddlePaddle/PaddleFleetX.git

模型库

模型	参数量	预训练文件
GPT	345M	GPT_345M

性能

相对于业界主流套件Megatron-LM¹与Megatron-DeepSpeed²，PaddleFleetX可以达到更高的训练吞吐。下表列出了在同等模型规模下，在多台拥有八张A100-SXM4-40GB GPU的服务器上（CUDA Version为11.6），PaddleFleetX与两者的性能对比。其中，0.35B、1.3B以及175B模型使用Megatron-LM套件。6.7B模型使用Megatron-DeepSpeed套件。

1. Megatron-LM commit id: 0bb597b42c53355a567aba2a1357cc34b9d99ddd (Commit on Jul 21, 2022)

2. Megatron-DeepSpeed commit id: 54f1cb7c300b05bf4e232c3efb862e5becd9fb53 (Commit On Sep 27, 2022)

工业级应用

许可

PaddleFleetX 基于 Apache 2.0 license 许可发布。

引用

@misc{paddlefleetx,
    title={PaddleFleetX: An Easy-to-use and High-Performance One-stop Tool for Deep Learning},
    author={PaddleFleetX Contributors},
    howpublished = {\url{https://github.com/PaddlePaddle/PaddleFleetX}},
    year={2022}
}