只有无偏见的，

例如，不鼓励在规范惩罚正则化下包含偏差权重，那么为什么要将其包含在 drop-out 正则化方案中呢？

Drop out 可以通过将单元乘以零来实现，偏置项比较特殊。偏差项决定了节点的线性决策边界与原点的距离。它包含在每个总和中，但它不接收任何输入。

举个例子，假设 MLP 中每层有 80 个节点，其中一个是偏置节点，这些层的输出每次将包含 79 个节点。然后将该输出置于辍学效应之下。

来自 Goodfellows 等人。正则化章节下的深度学习书，在线呈现：“ http://www.deeplearningbook.org/contents/regularization.html ”，他们写道，他们通过将一些输出取消为零来实现辍学：

“
在大多数现代神经网络中，......我们可以通过将一个单元的输出值乘以零来有效地从网络中删除一个单元......在这里，为了简单起见，我们以乘以零的形式呈现 dropout 算法，但它可以简单地修改以与从网络中删除单元的其他操作一起使用。
”

通过取消输出而退出，激活函数的输出，与偏置向量无关。它没有接收任何输入。因此，我认为该实现通常只处理输出到输入的连接，并且偏置向量不接收输入，因此可以放心地将其从退出过程中排除。