假设我想创建一个优化算法，它应该为给定的目标函数找到一个最佳值。创建一个优化算法来探索搜索空间可能非常具有挑战性。
我的问题是：机器学习可以用来自动创建优化算法吗？有什么资料可以查看吗？
如何使用机器学习来创建优化算法？
人工智能
机器学习
优化
算法请求
优化器
2021-10-28 03:54:27
1个回答
机器学习已被用于自动学习新的优化/学习算法。这个任务通常被称为元学习，即你学会学习，在这种情况下，一个优化算法，但请注意，元学习不仅仅指学习优化算法（见这篇博文）。
博客文章Learning to Optimize with Reinforcement Learning (2017) 很好地介绍了该主题，并重点介绍了这篇论文Learning to Optimize (2016) 中提出的方法，该方法使用强化学习来解决这个问题：更具体地说，他们学习了一个表示学习的优化算法的策略（在实践中，表示为神经网络）。
还有其他相关的方法：例如，您可能对论文Learning to learn by gradient descent by gradient descent (2016, NeurIPS) 感兴趣。