神经网络可以用作优化器吗?

数据挖掘 机器学习 优化
2022-02-11 14:00:53

我想知道神经网络是否可以用作优化器。换句话说,用作优化器的network2获取network1的损失值,并据此预测网络1的最佳权重。作为架构中的判别器,gan模仿了损失函数。

2个回答

是的——这就是所谓的学习到学习一个神经网络学习对另一个神经网络的参数进行在线更新。长短期记忆(LSTM)是最常用的架构。

理论上可以,实际上不行。

想想第二个网络需要什么。你需要一个代表损失的实数数据集 X,你需要代表权重加偏差的 y。

您已经可以看到稍微不同的架构的权重会有所不同。因此,鉴于您的网络需要大量数据点来学习,因此创建这样的数据集是不可行的。