根据特征形状和 CPU 容量训练模型所需的时间?

数据挖掘 预测建模
2022-02-15 20:41:01

如何估计训练模型所需的时间、给定的特征形状、CPU/GPU 规格和模型类型

1个回答

这个问题没有答案,因为除了模型参数、硬件规格和数据集大小之外,还有问题的难度问题,这是无法量化的。

一个易于解决的问题可能需要更少的时期来使模型充分收敛。以两个图像分类任务为例:

  • 第一个是 ILVRC,它包含大约 100 万张图像。
  • 另一个包含 1m 红色和绿色图像的数据集(只有纯红色和纯绿色)。

两个数据集具有相同的图像尺寸、相同数量的图像,并将用于在同一台计算机上训练相同的模型。尽管这些任务看起来相同,但后者更容易解决,并且只需要几次迭代(即几秒钟)。前者更难,可能需要 2-3 周。

由于这种巨大的差异仅在数据集的不可量化特征上造成,目前无法判断模型需要训练多长时间。

此外,由于训练过程的随机性,两个相同的模型可能需要不同的时间来收敛,即使在相同的数据集上(由于不同的初始条件)。

注意:如果您知道模型(参数数量、某些超参数的选择)、数据集(特征、样本)和硬件,您可以估计的是每个 epoch 所需的时间。