具有多个局部最小值的函数
机器算法验证
机器学习
优化
梯度下降
2022-03-23 09:02:55
3个回答
关于具有多个局部最小值的函数示例,我建议访问一个网站,例如模拟实验虚拟图书馆:测试函数和数据集 -西蒙弗雷泽大学的优化测试问题。它包含许多具有许多局部最小值的函数示例。一个简单的两因素示例如下:。在现实生活中,大多数可能反映某些季节性/周期性的函数都可能具有与该季节性/周期性效应相关的多个局部最小值。
评估特定函数是否具有多个局部最小值的最直接方法是使用微积分。多个局部最小值将与多个一阶导数为零且二阶导数为正的实例有关。正如尼尔所说:“在二维中(就像他画的图),二阶导数是一个矩阵,在这种情况下,最小值对应于一个正定二阶导数矩阵。 ”转向多元函数将反映在函数的维度上衍生品。我们在这种情况下使用的对象是Hessian 矩阵(它已经提到我们希望至少是半正定的)。
如果它们只有几个并且您可以估计它们的分布范围,您可以尝试具有不同起点的下降方法,这些起点将收敛到它们中的每一个。
这种做法在某些时候有效,但随着我们增加维度的数量(或者我们对函数的形状知之甚少),这种简单化的方法将不再实用(参见前面的答案)