计算科学 - 最小二乘法中的协方差矩阵是否取决于输入数据？ - 吾爱随笔录

最小二乘法中的协方差矩阵是否取决于输入数据？

计算科学线性代数最小二乘

2021-12-03 13:24:36

我一直认为协方差矩阵取决于输入数据的数量和质量，但我发现情况并非如此。这是真的？

我们想适应 $f(t) = \Sigma_{i=1}^{M} ( x_i t )$ 到 $N$ 数据点 $(t_i,y_i)$ 通过使用矩阵 $A_{i,j} = \phi_j(t_i)$ 在哪里 $\phi_j$ 是基函数。然后 $A$ 是 $N$ X $M$ 所以我们找到最合适的 $X = (A^T .A)^{-1}.(A^T.Y)$ .

现在，这里的方差协方差矩阵是 $V = (A^T .A)^{-1}$ ，但它不包含任何有关试图拟合的输入数据的信息 $\{y_i\}$ ，只有拟合函数的形式。

真的是这样吗？无论输入数据如何，拟合参数之间的协方差会相同吗？

编辑：

如果我们考虑到，有可能看到数据对协方差的影响 $\{ \sigma_i \}$ , 观测值的标准差 $\{ y_i \}$ ，但是这出现在您的协方差矩阵中的什么位置？你创造 $A$ 作为 $A_{i,j} = \sigma_i * \phi_j (t_i)$ ?

1个回答

我不太清楚你的符号，但假设我们试图找到一组参数 $x$ 导致预测 $y(x)=Ax$ 通过与测量值进行比较 $\bar y$ . 然后，如果你试图找到你的参数 $x$ 通过解决

min_{x} \frac{1}{2} ‖ \bar{y} - y (x) ‖^{2} = \frac{1}{2} ‖ \bar{y} - A x ‖^{2}

$\min_x \frac 12 \|\bar y - y(x)\|^2 = \frac 12 \|\bar y - Ax\|^2$ 那么您的协方差矩阵确实是

(A^{T} A)^{- 1}

$(A^TA)^{-1}$ 并且独立于数据

\bar{y}

$\bar y$ 和数据不确定性。

然而，一般来说，我们所做的是加权失配函数以使用代替（这可以证明是正确的公式从试图最大化后验概率的统计角度来看），其中是第个测量中的不确定性，并且对应于该公式的协方差矩阵取决于不确定性。

\frac{1}{2} \sum_{i} \frac{1}{σ_{i}} | {\bar{y}}_{i} - y_{i} (x) |^{2}

$\frac 12 \sum_i \frac 1{\sigma_i} |\bar y_i - y_i(x)|^2$

σ_{i}

$\sigma_i$

i

$i$

此外，如果你有一个非线性模型，即不仅仅是，那么协方差矩阵将是你在最小化问题的解处求导，这使得协方差矩阵也取决于实际数据，因为解当然取决于数据。 $y(x)=Ax$

V = {(\nabla y (x^{*})^{T} \nabla y (x^{*}))}^{- 1}

$V = \left(\nabla y(x^\ast)^T \nabla y(x^\ast)\right)^{-1}$ $x^\ast$

x^{*}

$x^\ast$

其它你可能感兴趣的问题

上一篇光流的 TVL1 算法下一篇如何在 Eigen C++ 中使用 TrangularView 类