从网络架构计算GPU内存需求

数据挖掘 神经网络
2022-02-17 08:47:52

我想根据层数和每层的节点数大致了解网络的 GPU Ram 要求。是吗

number of nodes * 2 * datatype size (64 for double) + number of connections * 2 * datatype size

?

(使用 PyTorch)

1个回答

没有根据层数和每层节点数来估计 GPU RAM 需求的好方法。每一层的操作和层之间的连接都很重要。例如,多层感知器 (MLP) 将使用比卷积神经网络 (CNN) 更少的计算。

一个更好的主意是在训练期间监控 GPU 的使用情况。如果 GPU 是 NVIDIA,则构建 NVIDIA 系统管理接口 (nvidia-smi) 用于监控和管理。