当我们有足够大的数据集时,我们是否需要自动调整超参数?

人工智能 神经网络 超参数优化 训练数据集
2021-10-23 08:51:40

超参数调整是为 ANN 选择最佳超参数的过程。

现在,我的猜测是,如果我们有足够的数据(比如 140 万个,比如 6 个特征),模型可以得到最佳训练,我们不需要超参数调谐器(如 Keras-Tuner),因为,虽然训练时,数据本身会优化模型。

如果我们有足够数量的随机数据来训练我们的 ANN 模型,我们是否需要超参数调谐器?

2个回答

不幸的是,即使有大量的训练数据,超参数的选择也会强烈影响训练模型的性能。

当你有大量训练数据时,你通常可以放弃的是正则化。如果您的训练示例涵盖了您正在学习的函数空间,那么就很难过度拟合训练数据。正则化选择也是超参数,因此您可以通过忽略它们来节省一些搜索空间和时间。

如果我们有足够数量的随机数据来训练我们的 ANN 模型,我们是否需要超参数调谐器?

拥有大量数据可能意味着您可以使用更简单的“蛮力”架构和设计,并且最终结果在更广泛的超参数选择中是稳健的。

您可能仍然希望至少稍微调整超参数。通过手动编辑和重试来驱动这种调整可能很乏味,而自动调整器可以提供帮助。

您不需要超参数调谐器,但它可以在各种情况下提供帮助。例如,如果您的模型训练不好,也许使用调谐器会有所帮助。

很难说你会在你的特定模型中翻转哪些超参数,但是对于某些特定的超参数,如果你选择了一个错误的值,你的模型将不会学习或发散。以学习率为例,如果你选择的值太高,它会超过最小值,错误可能会不断增长(发散),或者如果你选择的值太低,它会陷入局部最小值而无法继续学习。您可以拥有世界上最大的数据集,但如果您没有为学习率选择正确的范围,模型将无法正确学习。

一般来说,如果您对特定的超参数范围没有信心,那么无论您的数据集大小如何,超参数调整都是一个有用的工具