卷积神经网络的正负梯度值意味着什么?

数据挖掘 深度学习 梯度下降 卷积神经网络
2022-02-16 19:50:57

由于我们有神经网络的典型通道,因此我们进行了前向通道来预测类,然后我们有成本函数,并在此基础上计算梯度。

我想知道梯度的正负值是什么意思。我想知道的具体问题是为什么梯度图的正值意味着在那里检测到对象?

或通过示例发布此问题。为什么这里突出显示的渐变地图突出显示了狗/鸟/蜘蛛的部分? 在此处输入图像描述

如果我让我感到困惑,请纠正我。

1个回答

如您所知,像这样的梯度图的目的是显示哪些像素对预测的贡献最大。

具体问题。. . 为什么梯度图的正值意味着在那里检测到对象?

重要的不是正/负值,而是梯度的大小如果与像素相关的梯度幅度很小,则该像素可能对预测不重要(因为像素值的微小变化会转化为网络输出的微小变化)。相反,如果梯度的幅度很大,则表明该像素对预测很重要。

为什么这里突出显示的渐变地图突出显示了狗/鸟/蜘蛛的部分?

看起来论文的作者正在使用他们调用的函数对梯度图进行后处理ψ. 请注意第 4.2 节中的以下段落(突出显示由我添加) 第 1 段

第 2 段

作者正在取梯度的绝对值。

所以本文的梯度图只显示梯度的大小,而不是符号。当您看到突出显示的图像的一部分时,这并不意味着渐变是正的。相反,这意味着梯度的幅度很大。蓝色区域对应于接近零的梯度(低重要性),而橙红色区域对应于大梯度(高重要性)。

希望有帮助!