GPU多卡训练torch模型

用命令即可：

python3 -m torch.distributed.launch --nproc_per_node 8 train.py

或者

使用Accelerator： https://huggingface.co/docs/transformers/v4.21.2/en/accelerate

标签：en,co,torch,多卡,accelerate,v4.21,GPU,py
来源： https://www.cnblogs.com/aaronhoo/p/16647438.html