我多次遇到“数值稳定性”这个词。但几乎在相同的背景下。
我主要在批量归一化的解析公式中遇到这个词。
eps – 加到分母上的数值稳定性值。默认值:1e-5
在神经网络的训练过程中是否会出现“数值不稳定”的现象?还是其他型号中的通用型号?其发生的原因是什么?
我多次遇到“数值稳定性”这个词。但几乎在相同的背景下。
我主要在批量归一化的解析公式中遇到这个词。
eps – 加到分母上的数值稳定性值。默认值:1e-5
在神经网络的训练过程中是否会出现“数值不稳定”的现象?还是其他型号中的通用型号?其发生的原因是什么?
您可以在mathworld wolframe中找到“数值稳定性”的定义:
数值稳定性是指格式错误的输入如何影响算法的执行。在数值稳定的算法中,输入中的错误随着算法的执行而显着减少,对最终输出的影响很小。另一方面,在数值不稳定的算法中,输入中的错误会导致最终输出中的错误相当大。
在您的示例中,假设在相应的计算机器中很小并被截断为零。在这种情况下,您将得到INF
结果,并且继续计算可能会出现问题。
因此,它们添加了一个小值,例如到部门,以防止这种情况。作为,对于任何精度高于. 所以,在这里,数值稳定性的解释可以是这样的!