可以将约束优化技术应用于无约束问题吗?

机器算法验证 优化
2022-04-03 08:52:23

我正在研究使用内部点方法来优化凸函数。凸函数基本上是二元逻辑回归模型的对数似然。我可以使用这种技术吗?

一般来说,是否有任何东西阻止将约束优化技术应用于无约束问题?在我看来,一个无约束的问题只是一个没有约束的有约束的问题,因此应该可以使用这些技术来解决。

3个回答

就我而言,约束优化是一种不太理想的方法,可以避免由于模型规范错误而导致独立参数的剧烈波动。当方差 - 协方差矩阵结构不良,独立变量之间存在大量(未考虑的)相关性,数据集中存在混叠或接近混叠,给模型提供太多时,通常“需要”约束自由度等等。基本上,每个夸大参数估计方差的条件都会导致不受约束的方法表现不佳。

您可以查看约束优化,但如果您认为有必要进行约束优化,我认为您应该首先查看您的模型。这有两个原因:

  • 即使根据参数的估计方差,您也无法继续依赖推理
  • 您无法控制引入的偏差量。

因此,根据分析的目标,约束优化可能是次优解决方案(纯粹估计参数)或不合适的解决方案(需要推理时)。

附带说明一下,惩罚方法(在这种情况下是惩罚可能性)是专门为这些情况设计的,并以受控方式引入偏差(大部分)。使用这些,没有必要进入约束方法,因为经典的优化算法会做得很好。并且通过正确的惩罚,推理在许多情况下仍然有效。因此,我宁愿采用这种方法,而不是放置没有推理框架支持的任意约束。

我的 2 美分,YMMV。

据我所知,没有理由阻止您将约束优化应用于无约束问题。然而,就计算复杂性和收敛性而言,这可能不是一个好主意。例如,使用 Newton-Raphson 方法(或 Fisher 评分变体)可以有效地拟合逻辑回归模型。我不确定在这种特殊情况下,内点方法是否有很多好处。

优化的一般意义是,如果你有一个凸函数并且没有约束,你想使用“强大的东西”,梯度下降,牛顿等。没有约束的内点方法不是很好(有竞争力)。

特别是对于您正在研究的问题(二元逻辑回归),您应该考虑尝试简单的随机梯度下降。

没有什么能真正阻止您将约束优化技术应用于无约束问题。同样,没有什么能阻止你推动(而不是骑)你的车去上班。但是您绝对应该尝试无约束的内点方法并说服自己。

最后你提到你想尝试基于线性规划的方法,大概没有约束,你打算在这种情况下做什么我不太明白。