数据挖掘 - 可以学习倒置 v 模式的最简单的 ReLU 网络是什么？ - 吾爱随笔录

数据挖掘神经网络

2022-02-17 08:09:16

输入： $x \in \mathbb{R}^+$

预期输出：

$f(x) = \begin{cases}x &\text{for } x \leq 5\\10 - x &\text{for } x > 5\end{cases}$

所以基本上你有一个带有一个输入神经元和一个输出神经元的神经网络。假设输出具有激活的身份。

适合此功能的具有 ReLU 激活的最简单网络是什么？

1个回答

为了找到网络，我尝试了几个不同的小型网络：

这将是功能

o u t = max (a_{1} x + b_{1}, 0) + max (a_{2} x + b_{2}, 0)

$out = \max(a_1 x + b_1, 0) + \max(a_2x+ b_2, 0)$

a_{1} = 1, b_{1} = 0, a_{2} = 1, b_{2} = - 1

$a_1 = 1, b_1 = 0, a_2=1, b_2 = -1$

a_{1} = 1, b_{1} = - 5, a_{2} = - 1, b_{2} = 5

$a_1 = 1, b_1 = -5, a_2=-1, b_2 = 5$

2个隐藏层，总共3个神经元

这非常接近：

我猜这个模式是对的，但值并不完全正确。此外，我不完全确定是否只有一个具有 3 个（或更多）神经元的隐藏层也可以工作。

我总是包括偏见。

    / o (ReLU) \
IN o            o (linear)
    \ o (ReLU) /

它基本上是具有 2 个神经元的 1 个隐藏层，但也使用了输出层的缩放 (-1?) 和偏置 (+5?)。

(- 1) \cdot (max (x - 5, 0) + max (- x + 5, 0)) + 5

$(-1) \cdot (\max(x - 5, 0) + \max(-x + 5, 0))+5$

其它你可能感兴趣的问题