神经网络 - 权重的含义

机器算法验证 神经网络 权重
2022-02-28 21:01:46

我正在使用前馈神经网络。我理解这个概念,但我的问题是关于权重。您如何解释它们,即它们代表什么或它们如何不被破坏(仅是函数系数)?我发现了一种叫做“重量空间”的东西,但我不太确定它是什么意思。

4个回答

单个权重表示单元之间的连接强度。如果单元 A 到单元 B 的权重更大(其他条件相同),则意味着 A 对 B 的影响更大(即增加或减少 B 的激活水平)。

您还可以将输入到一个单元的权重集视为衡量该单元“关心”的内容。这在第一层最容易看到。假设我们有一个图像处理网络。早期单元从输入像素接收加权连接。每个单元的激活是通过激活函数传递的像素强度值的加权和。因为激活函数是单调的,所以当输入像素与该单元的传入权重相似时(在具有大点积的意义上),给定单元的激活将更高。因此,您可以将权重视为一组滤波器系数,定义图像特征。对于较高层的单元(在前馈网络中),输入不再来自像素,而是来自较低层的单元。所以,传入的权重更像是'

不确定您的原始来源,但如果我在谈论“权重空间”,我指的是网络中所有权重的所有可能值的集合。

好吧,这取决于网络架构和特定层。一般来说,NN 是不可解释的,这是它们在商业数据分析中的主要缺点(您的目标是从模型中发现可操作的见解)。

但我喜欢卷积网络,因为它们是不同的!尽管它们的上层学习非常抽象的概念,可用于迁移学习和分类,这不容易理解,但它们的底层直接从原始数据中学习 Gabor 过滤器(因此可以解释为此类过滤器)。看一下 Le Cun 讲座中的例子:

在此处输入图像描述

此外,M. Zeiler ( pdf ) 和许多其他研究人员发明了非常有创意的方法来“理解”卷积网络并确保它学到了一些有用的东西,称为反卷积网络,其中他们通过对输入图片进行前向传递并记住哪个卷积网络来“追踪”某些卷积网络神经元对哪张图片有最大的激活。这给出了像这样令人惊叹的内省(下面显示了几层):

M.Zeiler 的卷积网络自省

左侧的灰色图像是右侧彩色图片的神经元激活(强度越大 - 激活越大)。我们看到,这些激活是真实图片的骨架表示,即激活不是随机的。因此,我们有一个坚定的希望,即我们的卷积网络确实学到了一些有用的东西,并且将在看不见的图片中进行适当的概括。

我认为您在没有太多可解释性的模型上过于努力。神经网络 (NN) 是一种黑盒模型,可以为您提供更好的性能,但很难理解里面发生了什么。此外,在 NN 内部很有可能拥有数千甚至数百万的权重。

NN 是一个非常大的非线性非凸函数,可以有大量的局部最小值。如果你多次训练它,不同的起点,权重会不同。你可以想出一些方法来可视化内部权重,但它也不会给你太多的洞察力。

这是MNIST 数据的 NN 可视化的一个示例右上图(转载如下)显示了应用权重后的转换特征。

在此处输入图像描述

简单的权重是概率。

连接给出正确或错误答案的可能性有多大。即使是多层网络中的错误结果也是有用的。告诉某事不是那个..