是什么让神经网络如此擅长预测?

人工智能 神经网络 分类 预言
2021-11-03 20:42:08

我是神经网络的新手,我试图从数学上理解是什么让神经网络如此擅长分类问题。

以一个小型神经网络为例(例如,一个有 2 个输入,隐藏层中有 2 个节点,输出有 2 个节点),你所拥有的只是输出端的一个复杂函数,它主要是线性组合上的 sigmoid的乙状结肠。

那么,这如何让他们擅长预测呢?最终函数是否会导致某种曲线拟合?

4个回答

神经网络擅长分类。在某些情况下,归结为预测,但不一定。

神经网络在分类方面表现出色的数学原因是通用逼近定理这表明神经网络可以在紧凑子集上逼近任何连续实值函数。近似的质量取决于神经元的数量。还表明,在附加层中添加神经元而不是将它们添加到现有层中可以更快地提高近似质量。

再加上反向传播算法的未被充分理解的有效性,你有一个设置,然后可以实际学习 UAT 承诺的功能或类似的东西。

使用神经网络,您只需对数据进行分类。如果你分类正确,那么你可以做未来的分类。

怎么运行的?

像感知器这样的简单神经网络可以绘制一个决策边界来对数据进行分类。

例如,假设您想用简单的神经网络解决简单的 AND 问题。您有 4 个包含 x1 和 x2 的样本数据以及包含 w1 和 w2 的权重向量。假设初始权重向量为[0 0]。如果您进行了取决于 NN 算法的计算。最后,你应该有一个权重向量 [1 1] 或类似的东西。

在此处输入图像描述

请专注于图形。

它说:我可以将输入值分为两类(0 和 1)。行。那我该怎么做呢?这太简单了。首先求和输入值(x1 和 x2)。

0+0=0

0+1=1

1+0=1

1+1=2

它说:

如果 sum<1.5 那么它的类是 0

如果 sum>1.5 那么它的类是 1

神经网络擅长各种任务,但要了解确切原因,可能更容易完成分类等特定任务并深入研究。

简单来说,机器学习技术学习一个函数来预测特定输入属于哪个类,这取决于过去的例子。神经网络的不同之处在于它们能够构建这些函数,这些函数甚至可以解释数据中的复杂模式。神经网络的核心是像 Relu 这样的激活函数,它允许它绘制一些基本的分类边界,例如:Relu 的示例分类边界

通过将数百个这样的 Relus 组合在一起,神经网络可以创建任意复杂的分类边界,例如:在此处输入图像描述

在本文中,我尝试解释神经网络工作背后的直觉:https ://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce

在神经网络中,我们考虑高维的一切,并尝试找到一个超平面,通过微小的变化对它们进行分类......

可能很难证明它有效,但直觉说,如果它可以分类,你可以通过添加一个松弛的平面来做到这一点,让它在数据中移动以找到局部最优......