“封闭式解决方案”是什么意思?

机器算法验证 回归 机器学习 可能性 术语 随机过程
2022-01-19 14:56:41

我经常遇到“封闭式解决方案”这个词。封闭形式的解决方案是什么意思?如何确定给定问题是否存在近似解?在网上搜索,我找到了一些信息,但在开发统计或概率模型/解决方案的背景下却一无所获。

我对回归非常了解,所以如果有人可以参考回归或模型拟合来解释这个概念,那将很容易消费。:)

4个回答

“如果一个方程根据给定的普遍接受的集合的函数和数学运算来解决给定的问题,则称它是封闭形式的解决方案。例如,通常不将无限和视为封闭形式。但是,选择什么叫做封闭形式,什么不是封闭形式是相当随意的,因为一个新的“封闭形式”函数可以简单地根据无限和来定义。” ——沃尔夫拉姆阿尔法

“在数学中,如果一个表达式可以用有限数量的某些“众所周知”函数进行解析表达,则称它是一个封闭形式的表达式。通常,这些众所周知的函数被定义为基本函数——常数、一个变量 x、算术的基本运算 (+ − × ÷)、n 次方根、指数和对数(因此也包括三角函数和反三角函数)。如果问题可以通过以下方式解决,则通常被认为是易于处理的的封闭式表达式。” ——维基百科

线性回归中封闭形式解的一个示例是最小二乘方程

β^=(XTX)1XTy

大多数估计过程涉及找到最小化(或最大化)某些目标函数的参数。例如,使用 OLS,我们最小化了残差平方和。使用最大似然估计,我们最大化对数似然函数。区别是微不足道的:通过使用目标函数的负值,可以将最小化转换为最大化。

有时这个问题可以用代数方式解决,产生一个封闭形式的解决方案。使用 OLS,您可以求解一阶条件系统并获得熟悉的公式(尽管您可能仍然需要一台计算机来评估答案)。在其他情况下,这在数学上是不可能的,您需要使用计算机搜索参数值。在这种情况下,计算机和算法发挥更大的作用。非线性最小二乘就是一个例子。您没有明确的公式;你得到的只是一个你需要计算机来实现的食谱。配方可能从初步猜测参数可能是什么以及它们可能如何变化开始。然后你尝试各种参数组合,看看哪一个给你最低/最高的目标函数值。这是蛮力方法,需要很长时间。例如,105组合,如果你幸运的话,这只会让你靠近正确的答案。这种方法称为网格搜索。

或者您可以从猜测开始,然后在某个方向上细化该猜测,直到目标函数的改进小于某个值。这些通常称为梯度方法(尽管还有其他方法不使用梯度来选择进入的方向,例如遗传算法和模拟退火)。像这样的一些问题可以保证你快速找到正确的答案(二次目标函数)。其他人不提供这样的保证。您可能会担心自己陷入了局部而非全局最优,因此您尝试了一系列初始猜测。您可能会发现截然不同的参数为您提供了相同的目标函数值,因此您不知道该选择哪个集合。

这是获得直觉的好方法。假设您有一个简单的指数回归模型,其中唯一的回归量是截距:

E[y]=exp{α}

目标函数是

QN(α)=12NiN(yiexp{α})2

对于这个简单的问题,两种方法都是可行的。通过求导得到的封闭式解决方案是α=lny¯. 您还可以通过插入来验证其他任何东西都可以为您提供更高的目标函数值ln(y¯+k)反而。如果你有一些回归量,分析解决方案就会消失。

我认为这个网站提供了一个简单的直觉,其中的摘录是:

封闭形式的解决方案(或封闭形式的表达式)是可以在有限数量的标准操作中评估的任何公式。...数值解是可以在有限数量的标准操作中评估的任何近似值。封闭形式的解和数值解的相似之处在于它们都可以用有限数量的标准运算来评估。它们的不同之处在于封闭形式的解是精确的,而数值解只是近似的。

寻找通俗的术语或严格定义含义的痛苦措辞?我会假设其他术语随处可见。假设您想要 8 的平方根的闭式解。闭式解是 2 * (2)^1/2 或 2 的平方根的两倍。这与非封闭形式解决方案 2.8284 形成对比。(参见维基百科 2 的平方根以查看比小数点后 69 位精确到 1/10,000 以内)一个是绝对用数学术语定义的,而另一个不是。封闭形式的解决方案提供了一个准确的答案,而非封闭形式的答案是一个近似值,但是您可以获得与封闭形式解决方案一样接近的非封闭形式解决方案。听起来违反直觉,但如果您需要更准确,那么只需进行更多计算即可。