神经网络的权重在概念上代表什么?

人工智能 神经网络 深度学习 深度神经网络 权重 可解释的ai
2021-11-03 07:37:48

我了解神经网络的工作原理,并且很好地研究了它们的理论。

我的问题是:总的来说,对于有监督和无监督的情况,是否清楚地了解神经网络中从输入层到输出层的突变是如何发生的?

任何神经网络都是一组神经元和权重连接。对于每个连续的层,输入都会发生变化。假设我有一个神经网络n参数,用于电影推荐。如果X是一个参数,代表 IMDB 上的电影评级。在每个连续的阶段,输入都有一个突变XX并进一步X, 等等。

虽然我们知道如何在数学上谈论XX,我们是否这个变量在其对应的n维参数空间?

对人眼来说,神经网络的权重可能是一组随机数,但如果我们能够理解它们“代表”什么,它们可能意味着一些深刻的东西。

神经网络

权重的本质是什么,以至于尽管经过了数十年的研究和使用,但对这些连接权重所代表的含义还没有清楚的了解?或者更确切地说,考虑到超越人工智能黑匣子概念的巨大推动力,为什么在非数学意义上理解神经权重的性质的努力如此之少。

2个回答

我不知道我的直觉是否正确,但我会试一试。

您可以将权重视为一件事有多重要,问题是要了解该事物代表什么。当我说事情时,我指的是特定神经元的输出。我认为我们不能说出神经元的输出在现实世界中代表什么,除非我们通过误差函数直接关联它,或者用于计算该特定值的函数在现实世界中具有某种意义。

编辑:

如果你愿意,你实际上可以构建你的神经网络,让它的神经元代表一些东西。这也很简单。您只需写下与该特定主题相关的所有方程式。您可以将它们放在一个大系统中,或者更好的是,您可以将它们放在多个系统中,这样系统 1 的输出就是系统 2 的输入,依此类推。您可以将每个系统转换为一个层,其中每个神经元代表一个方程。请注意,在这种情况下,您将拥有经典神经元

z = dot(w.T,x) + b a = g(x)

但是一个更复杂的方程z(但仍然基于权重)和一个线性激活函数a在这种情况下,您可以命名每个神经元并说出它们在现实世界中代表什么。

然而,这不是神经网络的目的。神经网络应该具有具有简单方程的神经元以便快速,因此线性插值函数dot(w.T,x) + b是最佳选择(激活函数几乎总是非线性的事实,在某些情况下,非平庸函数是由于其他原因,可能是一个有趣的问题)。神经网络也应该尽可能通用,因为通常建立在您不完全了解的系统之上。

所以我稍微修改一下我的答案:不仅仅是你不知道神经元代表什么,不包括输出层的那些,你不希望它们在现实世界中有意义。

回答您的问题有点挑战,因为您似乎并不真正熟悉基础知识。您正在谈论突变和输入的更改。

不,输入是一个数据向量,它初始化输入节点的值。然后使用第一层权重计算下一层节点的值。下一层不是输入层的“突变”;这表明第二层节点与第一层相似但并不完全相同。

实际上,第二层节点的形状甚至与第一层不同是很常见的。

您甚至想知道某些权重是否具有某种意义。这更容易回答。我们知道这些网络非常强大。我们可以忽略很大一部分权重,分类只会发生一点变化。这表明没有单独的权重代表网络的特定方面。