梯度下降尺度是否不变?

人工智能 机器学习 深度学习
2021-11-16 02:14:10

我知道我们应该在将输入和输出馈送到神经网络之前缩放输入和输出(假设是回归任务)。然后梯度下降将更快地给出更好的最小值。但是我有一个微妙的困惑,即具有特征尺度和没有特征尺度的梯度下降是否给出相同的结果,或者只是梯度下降不是尺度不变的。

1个回答

你希望从这个问题的答案中得到什么?特征缩放是您可以(但不是必须)使用的一种方法,以便您的算法执行得更快并达到更好的一般精度。我想说的是,在一个简单的回归任务中,特征值范围变化不大,输出可能几乎相同,但是一旦您引入具有范围 1-10 和其他范围的特征的数据10000-100000,这就是您会注意到您需要标准化/标准化您的功能以达到最佳结果的地方。这就是为什么仅扩展数据几乎是一般规则,因此您的算法可以更好地泛化,并且您不必担心您的算法会赋予具有较高值的​​特征更高的重要性,而不是具有较低值的特征(只是一个例子)。