你可以改变任何你喜欢的！

好处将取决于您的数据以及您正在比较的内容。由于您没有确切说明您的起点是什么顺序，因此我无法准确比较任何内容，但提供一个简单的大纲。

通常，您遵循以下配方：

• 输入层：对数据进行任何重塑或规范化

• 乘法层：全连接层、卷积层或其他

• 非线性: relu, tanh- 赋予网络拟合非线性函数的能力
• 正则化层: batchnorm, dropout- 帮助模型收敛并防止过拟合

然后，根据您的需要，重复此方案多次。

像一个接一个地应用几个 ReLU 层这样的事情绝对没有意义，因为它实际上会改变任何东西！ReLU 只是过滤掉负值，将它们设置为零。因此，第二次应用它不会有任何效果。