前言

在上一章我们知道如何在一台机器上使用多张 GPU 来Training，这对我们 Train 大 Model 或者快速的 Train 一个 Model 已经会有明显的帮助了!!但贪心的我们是不是还是有点想要更好XDDDDD但其实也不全然是贪心啦，像是如果 Alpha GO 当初只用一台插着 4张 GPU 的机器去做 Training ，那麽他当初应该还 Train 不好就要去比赛了XDD 或许我们听说过 : ㄟ~不是有一种伺服型的机器是可以插超过4张 GPU 吗?但这其实在某些 Case 仍然远远不够QQ 像上面的 Alpha GO 怕是要 2000 片吧QQ 那麽今天就要来介绍一种可以更大扩大 GPU 数量的平行化方法 : 分散式训练。

p.s 这边的分散式训练特别指括机器的分散式训练

分散式训练

基本逻辑

硬体资源以及云端计算

自行筹组实体机器

云端计算

• AWS
• TWCC

Pytorch 实例

结语