最近我参与的一个项目涉及训练神经网络,以便我们最大化实际值和预测值之间的 Pearson 相关性。所以我想到了:为什么我们不改变梯度下降的数学运算,而不是最小化 RMSE,而是最大化?如果我们可以让网络以高相关性进行预测,我们所要做的就是将线性函数链接到预测中,我们就有了很好的预测。
为什么我们不训练神经网络来最大化线性相关而不是误差?
机器算法验证
回归
机器学习
相关性
神经网络
错误
2022-04-10 20:04:38
2个回答
因为那将是一个完全不同的目标。请注意,与 MSE 不同,如果两个变量之间存在线性关系,则 Pearson 相关性最大。这意味着
如果网络的输出与因变量样本大致成比例,而不是相等(或相似),那么网络会“认为”它已经正确地学习了它的输入。因此预测或或(等)将是等价的。这通常是不可取的,因为我们希望我们的网络给出与其输入相似的预测,而不是与所述输入成比例。
这样提出的优化问题不会有全局最小值。上面设置的任何比例常数都会给出最佳解决方案。从数值的角度来看,这是不可取的,并且会导致不稳定。
这更像是一个评论,虽然我还不能评论。
我怀疑相对于归一化输入最小化 RMSE (大致?)相当于最大化 Pearson 相关系数,但后者的计算成本更高。
其它你可能感兴趣的问题