是否有任何研究工作试图将神经进化与深度强化学习相结合?

人工智能 强化学习 进化算法 参考请求 神经进化
2021-11-16 12:10:23

神经进化可用于进化网络的架构(当然还有权重)。另一方面,深度强化学习已被证明在优化网络权重以训练真正表现良好的代理方面非常强大。我们可以使用以下管道吗?

  • 通过神经进化搜索最佳网络拓扑/权重
  • 通过 DQN 或类似的方法训练上面选择的最佳候选人

这对我来说似乎是合理的,但我还没有找到任何关于此事的信息。

是否有任何研究工作试图将神经进化与深度强化学习相结合?可行吗?主要挑战是什么?

1个回答

在学术文章搜索中可以轻松找到 3,810 篇文章。这是三个例子。

为了阐明所提出的策略,我们可以将该方法重写为一组设计特征。我们不要假设拓扑结构是基于权重的,这会削弱形态学和拓扑学的概念。如果我们将模型简化为正交拓扑的传统人工网络,那么它就不是神经进化;然后它将是基本的机器学习。

  • 通过神经进化寻找最佳网络拓扑
  • 通过 Q-learning 训练上面选出的最佳候选人

第二项似乎没有解决神经进化设计的输入、输出和目标与 Q 学习和其他强化学习策略之间的关系。Q-learning 算法通常不是为在前馈网络上运行而设计的,当然也不容易映射到神经进化过程中可能形成的拓扑。可能有数十亿(如果不是无限)的方法来组合这两种策略,但是如果不进一步研究和考虑它们将如何相互协作以实现计划目标,就不可能将这两个过程简单地串联起来。

搜索文章、研究然后制定您的研究轨迹可能很有用。建议先独立学习神经进化和强化,然后再开始阅读以上三篇之类的文章。倒入基础,让它干燥,然后框架房子。