我正在尝试调试神经网络。我看到梯度接近于零。如何确定这些渐变是否消失？是否有一些阈值可以通过查看值来决定梯度消失？我得到的值接近4 decimal places(0.0001)，在某些情况下接近5 decimal places (0.00001). 网络似乎没有在学习，因为权重的直方图在所有时期也非常相似。我正在使用RELU激活和Adam优化器。RELU在激活的情况下梯度消失的原因可能是什么？有可能请指出一些可能有用的资源。提前致谢。