计算科学 - 约束线性最小二乘矩阵方程 - 吾爱随笔录

约束线性最小二乘矩阵方程

计算科学线性代数回归

2021-12-10 00:28:39

自从我做线性最小二乘以来已经有一段时间了，所以请原谅这个简单的问题，但这里是：

我试图找到基函数线性组合的最佳拟合系数：用于数据。其中有个基函数和个要拟合的点。我知道，如果我关心的是最合适的，我可以解决： $\{c_i\}$ $f(x) = \Sigma_j^{M} c_j g_j(x)$ $\{x_i,y_i\}$ $M$ $N$

$(A^T \cdot A)\cdot X = (A^T \cdot B)$

其中和。 $A_{i,j} = g_j(x_i)$ $X = \{c_j\}$

但是，如果我想确保，我在上面指定的矩阵方程中在哪里解释这个？ $\Sigma c_i = 1$

1个回答

这是一个受约束的最小化问题（具有线性约束）。你可以这样写

min_{X} \frac{1}{2} ‖ A X - B ‖_{2}^{2} s.t. e^{T} X = 1

$\min_X \frac{1}{2}\|AX-B\|^2_2 \quad \text{ s.t. } e^TX = 1$

其中是所有的向量。这个问题通常通过形成拉格朗日 $e$ $L(X,\lambda)$

L (X, λ) = \frac{1}{2} ‖ A X - B ‖_{2}^{2} + λ (1 - e^{T} X)

$L(X,\lambda) = \frac{1}{2}\|AX-B\|^2_2 + \lambda(1-e^TX)$

其约束解是拉格朗日函数的驻点。发现这一点涉及将第一项中的导数相等。在您的特定问题中，第一项关于的导数导致正常方程，并且由于约束是线性的，因此第二项关于条目的导数只是。 $X$ $X$ $X$ $X_i$ $\lambda e_i$

长话短说，将这些导数设置为彼此相等会导致解决鞍点系统

[\begin{array}{cc} A^{T} A & e \\ e^{T} \end{array}] [\begin{matrix} X \\ λ \end{matrix}] = [\begin{matrix} A^{T} B \\ 1 \end{matrix}]

$\left[\begin{array}{cc}A^TA & e\\e^T &\end{array}\right]\left[\begin{array}{c}X\\ \lambda\end{array}\right] = \left[\begin{array}{c}A^TB\\ 1\end{array}\right]$

所以要添加一个约束，只需用一个额外的未知数和每个约束一个额外的方程来扩充你的系统。额外的未知数被称为拉格朗日乘数 - 这些可能有一些含义，但您通常可以丢弃它们。 $\lambda$

其它你可能感兴趣的问题

上一篇用于生物学研究的化学动力学的计算复杂性下一篇确定噪声测量的最可能整数因子的方法？