机器算法验证 - 训练卷积神经网络 - 吾爱随笔录

训练卷积神经网络

机器算法验证机器学习神经网络计算机视觉反向传播卷积神经网络

2022-03-06 20:20:59

我目前正在开发一个使用卷积神经网络来识别人脸的人脸识别软件。根据我的阅读，我收集到卷积神经网络具有共享权重，以便在训练期间节省时间。但是，如何调整反向传播使其可以用于卷积神经网络。在反向传播中，使用与此类似的公式来训练权重。

New Weight  = Old Weight +  LEARNING_RATE * 1 * Output Of InputNeuron * Delta

但是，由于在卷积神经网络中，权重是共享的，每个权重都与多个神经元一起使用，那么我如何决定Output of InputNeuron使用哪个呢？

换句话说，由于权重是共享的，我如何决定将权重更改多少？

1个回答

您需要首先计算所有更新，就好像没有共享 wieghts，而只是存储它们，实际上还没有进行任何更新。

让 $w_k$ 是一些出现在位置上的重量 $I_k = \{(i,j) \colon w_{i,j} = w_k\}$ 在您的网络和 $\Delta w_{i,j} = -\eta \frac{\partial J}{\partial w_{i,j}}$ 在哪里 $\eta$ 是学习率和 $J$ 是你的目标函数。请注意，此时如果您没有权重共享，您只需更新 $w_{i,j}$ 作为

w_{i, j} = w_{i, j} + Δ w_{i, j} .

$w_{i,j} = w_{i,j} + \Delta w_{i,j}.$ 要处理共享权重，您需要总结所有单独的更新。所以设置

Δ w_{k} = \sum_{(i, j) \in I_{k}} Δ w_{i, j}

$\Delta w_k = \sum_{(i,j) \in I_k} \Delta w_{i,j}$ 然后更新

w_{k} = w_{k} + Δ w_{k} .

$w_k = w_k + \Delta w_k.$

其它你可能感兴趣的问题

上一篇f-measure 是准确度的同义词吗？下一篇如何可视化逻辑回归的贝叶斯拟合优度