神经网络:我可以同时使用 sigmoid 和 tanh 作为激活函数吗?

数据挖掘 神经网络
2021-10-06 15:24:31

在神经网络架构中,我可以在某些层中使用 sigmoid 函数,在其他层中使用 tanh 函数吗?这是一个不错的选择吗?

1个回答

是的你可以。没有硬性规定禁止在任何层使用不同的激活函数,将这两种类型结合起来应该不会带来数值上的困难。

事实上,如果您的目标是预测单个类的成员资格或非排他性的多类概率,那么在隐藏层中使用 tanh 并在最后一层使用 sigmoid 可能是一个不错的选择。sigmoid 输出非常适合预测独立概率(使用例如对数损失(也称为交叉熵)目标函数)。

它是否比在所有层上使用 sigmoid 更好,将取决于您网络的其他功能、数据和您尝试解决的问题。通常找出哪个更好的最好方法——至少在准确性方面——是尝试一些变化,看看在交叉验证数据集上哪个得分最好。根据我的经验,在隐藏层中使用 tanh 或 sigmoid 之间通常存在细微差别。