如果我model.cuda()
在 pytorch 中调用 model 的子类nn.Module
,并说如果我有四个 GPU,它将如何利用这四个 GPU,我如何知道哪些 GPU 正在使用?
pytorch 中的 model.cuda()
数据挖掘
火炬
2021-09-15 06:37:55
1个回答
model.cuda()
默认情况下会将您的模型发送到“当前设备”,可以使用torch.cuda.set_device(device)
.
将模型发送到特定设备的另一种方法是model.to(torch.device('cuda:0'))
.
当然,这取决于环境变量中指定的设备可见性CUDA_VISIBLE_DEVICES
。
您可以使用nvidia-smi
. 此外,nvtop
这非常好。
PyTorch 在多个 GPU 中训练模型的标准方法是使用nn.DataParallel
将模型复制到 GPU 并在训练期间在它们之间拆分批次并组合各个输出。
其它你可能感兴趣的问题