权重向量如何分配给神经网络?

数据挖掘 神经网络
2022-02-23 20:06:51

尽管我有一个输出节点,但您有一组输入节点、隐藏节点和输出节点。

我们为这些节点之间的连接分配权重。那么是否有任何为这些连接分配权重的模式?

在此处输入图像描述

这是为神经网络分配权重的一种模式。请参阅另一种分配权重的方法。

在此处输入图像描述

请说出以下哪一项是为神经网络分配权重的正确方法?

2个回答

看起来当您说“分配权重的方式”时,您的意思是“按什么顺序计算权重,以便我知道哪些权重在哪些神经元之间连接”。

对于所有神经网络,都没有正式的“正确”方式来做到这一点。但是,实际上对于像您的图表这样的前馈网络,您会选择使用矩阵而不是向量来表示连接层的权重。这就是几乎所有标准库将代表权重的方式。

矩阵使用两个索引(在这种情况下称为)来标识单个标量值。如果我们称权重矩阵,那么单个权重就是i,jWWij

要确定神经元之间的权重如何连接,请用 i 索引输入层神经索引输出层神经元ij

在数学符号中,查看您的图表,调用每个输入值和每个隐藏值,然后计算单个的公式将是:xihjhj

hj=f(bj+i=1NWijxi)

其中是传递函数(例如 sigmoid),是输入特征的数量,是隐藏层神经元的偏差。f()Nbjj

您还经常会看到使用矩阵表示法编写的:

h=f(Wx+b)

. . . 这不仅是清晰和简单的符号,而且使用这样的矩阵数学来描述神经网络是我们能够在 GPU 上使用高性能库(如 TensorFlow)的原因。

这可能有更多你正在寻找的东西......

与 David Selby 在 R Tea & Stats 中从头开始构建神经网络