我正在研究使用内部点方法来优化凸函数。凸函数基本上是二元逻辑回归模型的对数似然。我可以使用这种技术吗?
一般来说,是否有任何东西阻止将约束优化技术应用于无约束问题?在我看来,一个无约束的问题只是一个没有约束的有约束的问题,因此应该可以使用这些技术来解决。
我正在研究使用内部点方法来优化凸函数。凸函数基本上是二元逻辑回归模型的对数似然。我可以使用这种技术吗?
一般来说,是否有任何东西阻止将约束优化技术应用于无约束问题?在我看来,一个无约束的问题只是一个没有约束的有约束的问题,因此应该可以使用这些技术来解决。
就我而言,约束优化是一种不太理想的方法,可以避免由于模型规范错误而导致独立参数的剧烈波动。当方差 - 协方差矩阵结构不良,独立变量之间存在大量(未考虑的)相关性,数据集中存在混叠或接近混叠,给模型提供太多时,通常“需要”约束自由度等等。基本上,每个夸大参数估计方差的条件都会导致不受约束的方法表现不佳。
您可以查看约束优化,但如果您认为有必要进行约束优化,我认为您应该首先查看您的模型。这有两个原因:
因此,根据分析的目标,约束优化可能是次优解决方案(纯粹估计参数)或不合适的解决方案(需要推理时)。
附带说明一下,惩罚方法(在这种情况下是惩罚可能性)是专门为这些情况设计的,并以受控方式引入偏差(大部分)。使用这些,没有必要进入约束方法,因为经典的优化算法会做得很好。并且通过正确的惩罚,推理在许多情况下仍然有效。因此,我宁愿采用这种方法,而不是放置没有推理框架支持的任意约束。
我的 2 美分,YMMV。
据我所知,没有理由阻止您将约束优化应用于无约束问题。然而,就计算复杂性和收敛性而言,这可能不是一个好主意。例如,使用 Newton-Raphson 方法(或 Fisher 评分变体)可以有效地拟合逻辑回归模型。我不确定在这种特殊情况下,内点方法是否有很多好处。
优化的一般意义是,如果你有一个凸函数并且没有约束,你想使用“强大的东西”,梯度下降,牛顿等。没有约束的内点方法不是很好(有竞争力)。
特别是对于您正在研究的问题(二元逻辑回归),您应该考虑尝试简单的随机梯度下降。
没有什么能真正阻止您将约束优化技术应用于无约束问题。同样,没有什么能阻止你推动(而不是骑)你的车去上班。但是您绝对应该尝试无约束的内点方法并说服自己。
最后你提到你想尝试基于线性规划的方法,大概没有约束,你打算在这种情况下做什么我不太明白。