我想根据层数和每层的节点数大致了解网络的 GPU Ram 要求。是吗
number of nodes * 2 * datatype size (64 for double) + number of connections * 2 * datatype size
?
(使用 PyTorch)
我想根据层数和每层的节点数大致了解网络的 GPU Ram 要求。是吗
number of nodes * 2 * datatype size (64 for double) + number of connections * 2 * datatype size
?
(使用 PyTorch)
没有根据层数和每层节点数来估计 GPU RAM 需求的好方法。每一层的操作和层之间的连接都很重要。例如,多层感知器 (MLP) 将使用比卷积神经网络 (CNN) 更少的计算。
一个更好的主意是在训练期间监控 GPU 的使用情况。如果 GPU 是 NVIDIA,则构建 NVIDIA 系统管理接口 (nvidia-smi) 用于监控和管理。