机器算法验证 - 为什么双边梯度检查更准确？ - 吾爱随笔录

为什么双边梯度检查更准确？

机器算法验证优化梯度下降坡度数字

2022-03-23 14:47:44

在Andrew Ng 的机器学习课程的第 5 周，他给出了梯度检查的公式：

一方面的区别：

$\dfrac{\partial}{\partial\Theta}J(\Theta) \approx \dfrac{J(\Theta + \epsilon) - J(\Theta)}{\epsilon}$

两面的区别：

$\dfrac{\partial}{\partial\Theta}J(\Theta) \approx \dfrac{J(\Theta + \epsilon) - J(\Theta - \epsilon)}{2\epsilon}$

在哪里 $\epsilon$ 是一个小值 $\epsilon \approx 10^{-4}$ （如果太小，可能会出现数值问题。）

Ng 教授断言，双边差异可以更好地逼近真实梯度。

为什么会这样？

2个回答

看待这一点的一种方法是通过泰勒近似。记住

f (x + Δ x) \approx f (x) + Δ x f^{'} (x) + \frac{1}{2} Δ x^{2} f^{″} (x) + \frac{1}{6} Δ x^{3} f^{‴} (x) + \dots

$f(x+\Delta x)\approx f(x)+\Delta x f'(x)+\frac 1 2 \Delta x^2 f''(x)+\frac 1 6 \Delta x^3f'''(x)+\dots$

一侧看起来像这样

\frac{f (x + Δ x) - f (x)}{Δ x} \approx f^{'} (x) + \frac{1}{2} Δ x f^{″} (x)

$\frac{f(x+\Delta x)-f(x)}{\Delta x}\approx f'(x)+\frac 1 2 \Delta x f''(x)$

两侧看起来像这样

\frac{f (x + Δ x) - f (x - Δ x)}{2 Δ x} \approx f^{'} (x) + \frac{1}{6} Δ x^{2} f^{‴} (x)

$\frac{f(x+\Delta x)-f(x-\Delta x)}{2\Delta x}\approx f'(x)+\frac 1 6 \Delta x^2 f'''(x)$

换句话说，两侧发挥对称性，并抵消了平方项在泰勒展开中的贡献。因此，当您挤压时，两侧的误差比一侧的减小得快得多。 $\Delta x$

对于理论分析，您需要阅读有关数值分析的书。但直觉上，用关于切点对称的两点之间的割线来近似切线似乎是合理的。让我们看一个简单的数值示例，让并且我们对处的导数感兴趣，因此我们知道真实值为零。然后对称的两侧差给出对于所有。通过不对称差异，您可以自己看到该值将是或。就像一个插图。 $f(x)=x^2$ $x_0=0$

\frac{f (ϵ) - f (- ϵ)}{ϵ} = \frac{(ϵ)^{2} - (- ϵ)^{2}}{ϵ} = 0

$\frac{f(\epsilon)-f(-\epsilon)}{\epsilon}=\frac{(\epsilon)^2-(-\epsilon)^2}{\epsilon}=0$

ϵ \neq 0

$\epsilon \not =0$

ϵ

$\epsilon$

- ϵ

$-\epsilon$

其它你可能感兴趣的问题

上一篇tf-idf 加权的词嵌入是什么意思？下一篇k-NN 可以集成吗？