机器算法验证 - 用于全连接 LSTM 的 Garson 算法 - 吾爱随笔录

Garson 提出了一种算法，后来被 Goh (1995) 修改，用于确定输入节点对网络的相对重要性。在单层隐藏单元的情况下，方程为

Q_{i k} = \frac{\sum_{j = 1}^{L} | w_{i j} v_{j k} | / \sum_{r = 1}^{N} | w_{r j} |}{\sum_{i = 1}^{N} \sum_{j = 1}^{L} (| w_{i j} v_{j k} | / \sum_{r = 1}^{N} | w_{r j} |)}

$Q_{ik} = \frac{ \sum_{j=1}^L | w_{ij} v_{jk} |\ /\ \sum_{r=1}^N | w_{rj}|}{\sum_{i=1}^N \sum_{j=1}^L\big(|w_{ij}v_{jk}|\ /\ \sum_{r=1}^N|w_{rj}|\big)}$

在哪里 $w_{ij}$ 是之间的重量 $i$ 输入和 $j$ 第隐藏单元，和 $v_{jk}$ 是之间的重量 $j$ 隐藏单元和 $k$ 输出。

我对神经网络完全连接并具有单个输出的情况感兴趣。在这种情况下，两者之间的唯一区别是 $Q_i$ 每个输入的 s $i$ 是个 $\sum_{j=1}^L |w_{ij}|$ ，所以如果我们只关心输入之间的相对重要性，我们可以定义

Q_{i k} = \sum_{j = 1}^{L} | w_{i j} | .

$Q_{ik} = \sum_{j=1}^L |w_{ij}|.$ 也就是说，唯一重要的是离开该隐藏单元的输入权重，即使这被推广到多隐藏层神经网络。

我想知道如果隐藏层被一层 LSTM 单元取代，是否也会如此？我的理由是，由于 LSTM 是完全连接的，我们仍然可以说

Q_{i k} = \sum_{j = 1}^{L} | w_{i j} | .

$Q_{ik} = \sum_{j=1}^L |w_{ij}|.$