正如您所说，在隐藏层中使用某种形式的整流线性单元 (ReLU) 激活是很流行的，而输出层通常是softmax或 sigmoid（也取决于问题：分别是多类或二元分类），这提供可以被视为概率分布的输出。

您可以将其进一步推广到同一层内的不同激活函数块。这是我想过的事情，还没有做过，但已经尝试过想象。从某种意义上说，这里的想法是允许网络的一个子部分开发一种在其他情况下可能不可行的表示。随着我们靠近输出，同一层内的这些不同表示将被后续层统一起来。