所有具有 DAG 拓扑的神经网络都可以通过 Back-prop 训练吗?

机器算法验证 神经网络 反向传播 达格
2022-03-17 16:07:17

是否可以通过反向传播方法训练所有具有有向无环图(DAG)拓扑的神经网络?你可以假设所有神经元的激活函数都是可微的。

我的意思是基于梯度的方法,如随机梯度下降、AdaGrad、Adam 等。

如果是真的,是否有参考资料(学术论文是最好的)提供证明?

1个回答

是否可以通过反向传播方法训练所有具有有向无环图(DAG)拓扑的神经网络?我的意思是反向传播方法,如随机梯度下降、AdaGrad、Adam 等。

您提到的方法是基于梯度的,如果人工神经元使用的一个激活函数不可微分,则随后将不起作用。但是,它们有一些方法,例如使用强化学习