语言: 🇨🇳 🇺🇸

«pytorch-distributed»使用PyTorch DistributedDataParallel实现了分布式运算，同时使用AMP实现了混合精度运算

当前仅考虑单机多卡场景

内容列表

• 内容列表
• 背景
• 安装
• 使用
• 主要维护人员
• 致谢
• 参与贡献方式
• 许可证

背景

分布式运算能够充分利用多卡GPU算力，更快的训练得到好的模型参数；而混合精度训练一方便能够提高训练速度，还可以压缩模型大小

安装

通过requirements.txt安装运行所需依赖

$ pip install -r requirements.txt

使用

当前实现了4种训练场景：

• 单卡训练
• 多卡训练
• 单卡混合精度训练
• 多卡混合精度训练

主要维护人员

• zhujian - Initial work - zjykzj

致谢

• Distributed data parallel training in Pytorch
• tczhangzhi/pytorch-distributed

参与贡献方式

欢迎任何人的参与！打开issue或提交合并请求。

注意:

• GIT提交，请遵守Conventional Commits规范
• 语义版本化，请遵守Semantic Versioning 2.0.0规范
• README编写，请遵守standard-readme规范

许可证

Apache License 2.0 © 2020 zjykzj