神经网络隐藏层神经元的 Max/Min

数据挖掘 神经网络 数学
2022-02-24 21:43:57

我们有一个带有输入的神经网络x1,...,xn,一个带有神经元的隐藏层y1,,ym, 和输出z1,...,zv. 没有激活函数(即激活函数是f(x)=x)。我们知道输入在 -1 和 1 之间,我们也需要输出在 -1 和 1 之间。网络已经过训练,所以权重都是可用的。给定权重,找到每个权重的最大值和最小值yi可以采取。

我的努力:我想到了一个更简单的版本。假设我们有 2 个输入,1 个隐藏层节点和一个输出。然后:

y1=w1x1+w2x2
z1=w1y1

最大值为y1发生时x1=sign(w1)x2=sign(w2). 所以,y1|w1|+|w2|. 另一方面,1<y1w1<1, 所以y1<1/|w1|. 因此,y1min{|w1|+|w2|,1/|w1|}. 同样,我们可以证明y1min{|w1|+|w2|,1/|w1|}

对一般问题有任何想法吗?文献中是否已经解决了这个问题?

0个回答
没有发现任何回复~