dropout 技术是否仅适用于神经网络?

人工智能 神经网络 正则化 决策树 辍学
2021-11-10 03:04:21

在 Udemy 的一门课程中提到“dropout 是神经网络所独有的”。但是,我记得一个决策树的示例,其中不参与整体结果的节点被删除,我认为这种技术也称为“dropout”。我对么?

1个回答

我确信你可以在任何参数化模型中使用 dropout,但我怀疑它只有在你有足够的参数/节点时才会真正有用。神经网络中的 dropout 也具有贝叶斯意义,例如 Yarin Gal 在这方面做了很多工作。

在您的决策树示例中,我相信您在谈论修剪,这是不同的。在这种情况下,您正在删除您知道没有贡献的节点。在 dropout 中,您在训练期间随机关闭节点以防止单个节点影响太大,但永远不会删除节点。

您可能还对参数化模型中的 L1 正则化感兴趣。这是当您根据绝对权重(而不是平方权重)添加惩罚时,这往往会将不太有用的权重驱动为 0。然后您可以删除几乎没有权重的节点。这更类似于您的决策树示例,而不是 dropout。