在此处描述的 dropout 中，权重没有被屏蔽。取而代之的是，神经元激活被屏蔽，每个例子都被用于训练（即，每次前向运行和梯度反向传播的屏蔽是随机的，从不重复）。

激活在前向传播过程中被屏蔽，梯度计算在该示例的反向传播过程中使用相同的屏蔽。这可以作为层描述中的修改器来实现，也可以作为单独的 dropout 层来实现。

在权重更新阶段，通常应用于小批量（每个示例应用不同的掩码），不再使用丢失掩码。用于更新的梯度值已经受到反向传播期间应用的掩码的影响。

我发现了一个有用的参考资料，用于学习 dropout 的工作原理，也许可以自己实现，是 Matlab/Octave 的Deep Learn Toolbox。