具有多个局部最小值的函数

机器算法验证 机器学习 优化 梯度下降
2022-03-23 09:02:55

我试图通过绘制函数中参数的误差与值来理解梯度下降算法。什么是形式为y = f(x)的简单函数的示例,只有一个输入变量 x 和两个参数 w1 和 w2,使得它的损失函数具有多个最小值?我想要实现的是与此类似的东西: 在此处输入图像描述

在不绘制图形的情况下如何知道函数是否具有多个最小值?哪个数学分支处理这个话题?

3个回答

关于具有多个局部最小值的函数示例,我建议访问一个网站,例如模拟实验虚拟图书馆:测试函数和数据集 -西蒙弗雷泽大学的优化测试问题。它包含许多具有许多局部最小值的函数示例。一个简单的两因素示例如下:在现实生活中,大多数可能反映某些季节性/周期性的函数都可能具有与该季节性/周期性效应相关的多个局部最小值。xsin(w1x+w2)

评估特定函数是否具有多个局部最小值的最直接方法是使用微积分。多个局部最小值将与多个一阶导数为零且二阶导数为正的实例有关。正如尼尔所说:“在二维中(就像他画的图),二阶导数是一个矩阵,在这种情况下,最小值对应于一个正定二阶导数矩阵。 ”转向多元函数将反映在函数的维度上衍生品。我们在这种情况下使用的对象是Hessian 矩阵(它已经提到我们希望至少是半正定的)。

处理主题的数学分支称为数学优化优化任务的实际示例广泛涉及运筹学领域。

您正在寻找的功能称为测试功能或人工景观。

维基百科有一个非常好的优化测试函数列表。我建议直接查看链接中的参考资料。

如果它们只有几个并且您可以估计它们的分布范围,您可以尝试具有不同起点的下降方法,这些起点将收敛到它们中的每一个。

这种做法在某些时候有效,但随着我们增加维度的数量(或者我们对函数的形状知之甚少),这种简单化的方法将不再实用(参见前面的答案)