一个具有多个输出的神经网络还是具有单个输出的多个神经网络?

数据挖掘 机器学习 神经网络 深度学习 回归 线性回归
2022-01-23 18:46:36

我使用表格数据构建前馈深度学习模型。输入是数字特征或分类特征(用嵌入表示)。输出是相同数量的数字输入特征。

是否有任何已知的研究或模型可以验证使用具有多个输出的单个模型会比多个模型更好/更差,每个模型都有一个输出?

本质上,通过 N 个观察和 M 个输出,单个模型可以最小化:

1NnNmM(ym(n)y^m(n))2

虽然具有单个输出的多个模型,但每个模型都最小化:

1NnN(ym(n)y^m(n))2
对于单个值m.

有什么理由比另一个更受欢迎,还是我只需要自己尝试看看?

1个回答

鉴于您提供的信息,最诚实的答案是:您必须自己测试它,没有通用答案。

尽管如此,研究中的经验表明,神经网络可能会受益于具有多个输出。

因此,假设我们有一个具有多个输出的神经网络。此外,让我们将它们分组为特定的任务:

例如:

  • 第 1 组的输出神经元判断图像是包含狗还是猫。
  • 第 2 组的输出神经元告诉动物的大小(宽度和高度)
  • 第 3 组的输出神经元告诉动物毛发的颜色(在某些编码中)

等等...

一个常见的例子是 Faster-RCNN 与 Mask RCNN。

假使,假设g表示不同输出神经元组的数量。

现在,如果您采用前馈神经网络,您将拥有最终分支到不同输出组的公共层。让我们打电话π将输入图像映射到这个特定的最后一个公共层的函数L然后让ϕj是从层获取信息的函数L输出组的结果j.

因此,给定一个输入图像 I,神经网络将其映射到(ϕ1(π(I))ϕg(π(I))).

最后一个公共层的输出π(I)=:f可以理解为图像描述符f输入图像的I.

特别是,所有预测输出都依赖于包含在f.

Therefore:将多个输出合并到单个神经网络中可以理解为一种正则化技术。图像描述符f必须不仅包含图像显示狗或猫的信息,还必须包含所有其他信息。因此,它必须是对输入的更全面(或“更现实”)的描述,这使得网络更难以过拟合。网络无法使用不合理的解释解决特定任务,因为相应的图像描述符会导致其他任务的不良结果。

因此,向神经网络添加额外(辅助)任务可以提高初始任务的准确性,即使您对预测这些额外任务不感兴趣。

所以本质上,如果你的数据有一个共同的描述,可以用来解决你需要的任务,那么系统可能会通过使用一个具有多个输出的模型而受益。

您可以查看文献,例如协作学习多任务学习辅助任务

我希望这回答了你的问题。