ANN的一个具有挑战性的问题

机器算法验证 r 机器学习神经网络分类

2022-03-29 02:54:50

看到这个已解决的旧考试时，我遇到了挑战。

如图所示，作者选择作为具有最小节点的最佳选项。在另一页中提到，如果我们使用双极，那么就是答案。当我们使用双极时，任何人都可以描述为什么是答案？ $(D)$ $(E)$ $(E)$

如果我们有阶跃函数，那么如果神经元的输入，那么神经元的输出为，否则 $> 0$ $1$ $0$

如果我们有双极函数，那么如果神经元的输入，那么神经元的输出是，否则 $> 0$ $1$ $-1$

2个回答

只要我们只谈论加性神经元（即神经元的所有输入在传递给激活函数之前被加在一起），“单极”和“双极”可以互换使用。我们总是可以通过乘以 2 并减去 1 将“单极”输出转换为“双极”输出：

o_{b i p o l a r} = 2 \cdot o_{u n i p o l a r} - 1

$o_{bipolar} = 2 \cdot o_{unipolar} - 1$

为了在网络中实现这一点，我们只需将每个输入神经元的权重加倍并将偏差减少一：

w_{i j}^{'} = 2 \cdot w_{i j}

$w_{ij}' = 2 \cdot w_{ij}$

b i a s_{j}^{'} = b i a s_{j} - N_{i n [j]}

$bias_j' = bias_{j} - N_{in[j]}$ 其中的输入的神经元数量-th 神经元。

N_{i n [j]}

$N_{in[j]}$

j

$j$

所以这部分

如果我们使用双极

可以安全地忽略。现在，正如 Thomas 在他的评论中指出的那样，网络 (D) 和 (E) 的第一层只是将连续的 -空间映射到（或者，或者，，如果您使用“双极”神经元）。通过给定的类排列，这成为经典的 XOR 问题，您需要另外两层来解决它。 $(x, y)$ $\{0, 1\}^2$ $\{-1, 1\}^2$

如果神经元有三个输出，比如 [-1,0,1]，那么它可以绘制三个具有线性边界的区域，如此处所示的第一层，解决方案将是 (E)。第二层简单地将南部和北部地区作为一类，西部和东部地区作为另一类。

具有两个输出的神经元，无论是 [0,1] 还是 [-1,1] 或任何其他值对，都只能纵横交错。所以解决方案只能是（D）

侧身

如果您从实际问题中抽象出来，那么很明显变量是“错误的”:) 这要求进行特征工程（另一个流行词！） - 移动和旋转 45 度会很好地工作。首先对数据进行去均值化，然后创建新变量：S = x+y 和 V=xy。那么你的分类就变成了一个简单的问题：L 是 (S*V<0)。

不，这不是问题的解决方案，因为它仍然需要四个区域，并且对于二元神经元，在这个问题中仍然需要 D。我只是认为这是一个有趣的转折点

其它你可能感兴趣的问题

上一篇为什么在逻辑回归中使用 Wald 检验？下一篇为什么将观察到的 Fisher 信息定义为对数似然的 Hessian？