两个神经网络对分类的加权影响

数据挖掘 神经网络 美国有线电视新闻网 损失函数
2022-02-18 06:38:23

我正在训练一个有两个神经网络的模型。其中之一是 resnet18 CNN,它具有输入图像。另一个是一个小的隐藏层网络,它有四个其他变量作为输入。

此时,我将这些网络的输出连接到第一个(也是唯一的)全连接层中,然后在分类层中将数据点分为三类。

我想知道如何设计我的网络,使两个不同的神经网络对分类产生特定的影响。例如,我希望 CNN 在最终分类中具有 60% 的“说”/影响,而其他 NN 具有 40% 的“说”/影响。

在当前的结构中,我找不到一种直观的方法来解决这个问题。我能想象的唯一方法是分离网络,然后对两个网络的损失进行加权。有没有人知道在不分离网络的情况下实现这一目标的另一种方法?

2个回答

由于神经网络是非参数的,通常情况下您训练组合模型(如您所描述的那样,但最后可能带有额外的 FC 层)并让模型作为单个实体学习/决定如何最好结合你的两个子模型的输出。

如果你想要你提到的硬编码百分比,那么最直接的方法就是做你在最后一段中提到的。

人们经常在同一个数据集上独立训练相同(或略有不同的模型),然后在测试集上对这些模型的预测进行平均,这样可以将整体性能提高整数百分比。

我认为如果你训练最后一层,它会自动为你创建这些权重。这就是训练的全部内容,赋予相关特征权重,不是吗?