机器算法验证 - 神经网络中 tanh 单元的匹配损失函数 - 吾爱随笔录

神经网络中 tanh 单元的匹配损失函数

机器算法验证神经网络损失函数

2022-03-22 02:56:51

对于这个问题，我没有什么可以补充的了。谷歌搜索主要是在 springerlink 和其他我无法访问的网站上找到研究论文。

作为输出非线性的神经网络模型，使用什么合适的匹配损失函数？ $tanh(x)$

-布赖恩

2个回答

损失函数是根据假设污染数据的噪声过程选择的，而不是输出层激活函数。输出层激活函数的目的是应用任何应该应用于模型输出的约束。损失函数和激活函数之间存在对应关系，可以简化模型的实现，但这几乎是唯一真正的好处（参见广义线性模型中的链接函数），因为神经网络人员通常不会进行太多分析请注意，tanh 函数是逻辑 sigmoidal 函数的缩放和翻译版本，因此从这个角度来看，带有重新编码目标的修改后的逻辑损失可能是一个很好的匹配。

我想我已经得出了一些有用的东西：

- \frac{1}{2} ((1 - x_{0}) l o g | 1 - t a n h (x) | + (1 + x_{0}) l o g | 1 + t a n h (x) |)

$-\frac{1}{2}((1-x_0)log|1-tanh(x)| + (1+x_0)log|1+tanh(x)|)$

这个量相对于的导数是，这正是我所需要的。 $x$ $tanh(x) - x_0$

其它你可能感兴趣的问题

上一篇是否有可以处理整数约束和非线性目标函数的 R 优化包？下一篇用相关数据拟合广义最小二乘模型；使用 ML 还是 REML？