使用神经网络进行物理建模 - 单输出 + 堆栈集成与多输出

数据挖掘 神经网络 回归 合奏 多输出
2022-02-15 23:01:17

我们正在尝试用人工神经网络替换现有的物理模型(8 个输入/7 个输出)。现有模型背后的物理主要是用于空调的湿空气的热力学,其中涉及一些涡轮机械,这很可能在输入和输出之间产生复杂的函数。

一种方法已经完成:单输出神经网络(10 NN 具有相同的#隐藏层但不同的参数,如批量大小、#epochs、优化器等)。然后使用某种堆叠集成:每个预测都用作单个 NN 的新输入,以预测最终值。

准确度很好,但是,有些测试数据点的绝对误差高到足以担心预测值(这可以用于例如空调控制策略,因此预测不好会导致不受控制系统)。

为了提高准确性,一些同事建议让它更简单,只使用单个神经网络执行多输出回归。

从数学的角度来看,我有以下问题:

  1. 单个输出 NN 堆叠集成是否会优于多输出单个 NN?
  2. 使用 NN 进行堆栈集成的方式是一种好方法吗?我看到了一些不同的技术,比如算术平均输入

谢谢你的时间!问候

1个回答

我的猜测:我同意你的同事的看法。除了具有多个输出的单个神经网络之外,我认为没有理由做任何事情。如有必要,请增加该单个神经网络的容量,直到您看不到进一步的改进为止。

一个堆叠集成,其中您有几个神经网络,其输入作为输入馈送到另一个神经网络,这本身就相当于一个更大的神经网络。我看不出有任何理由期望堆叠方法能更有效地训练或因其他原因而变得更好。

然而,这最终是一个经验领域。找出最有效的方法的唯一方法是尝试不同的方法并进行观察。没有大量的理论可以让我们预测哪些方法最有效。

您可能会考虑是否可以获得更多的训练数据,特别是在特别感兴趣的制度中。与修改神经网络架构相比,更好的训练数据集通常会提供更高的收益。