我有 3 个神经网络，每个都有不同的激活函数：Sigmoid、Tanh 和 Softmax。我打算平均他们的最终预测，但我们知道这些函数没有相同的范围值。
P = (P1 + P2 + P3)/3
在哪里0 < P1 < 1, -1 < P2 < 1, 0 < P3 < 1
我可以直接平均预测还是需要执行归一化以使所有预测都落入相同的区间？
结合具有不同激活函数的多个神经网络
数据挖掘
Python
神经网络
集成建模
激活函数
2022-03-10 17:09:57
1个回答
当您尝试对这些值进行平均时，并且鉴于这三个具有不同的域，在平均之前将所有这些都带入同一个域是有意义的。您可以将 P2 (tanh) 标准化为 0-1，然后平均这些值。
如果你想尝试另一种方式，你可以将这三个网络结合起来，将三个输出 p1、p2 和 p3 输入到一些更密集的层，最后预测单个输出。这种方式不是平均化，而是引入了一些有助于学习任务的非线性。