机器算法验证 - 如何使用最小二乘回归找到 +/- 不确定性 - 吾爱随笔录

如何使用最小二乘回归找到 +/- 不确定性

机器算法验证回归不确定

2022-04-09 17:48:13

我有一组数据点，每个点都有不确定性。从这些数据点我可以拟合一条线，斜率是一个重要的值。我如何使用我必须得到的信息来估计我的最终值我只能在网上找到有关和的信息。如果在 python/numpy/scipy 中有一种简单的方法可以做到这一点，则可以加分。 $\sigma$ $R^2$ $\chi ^2$

2个回答

您可以将其视为多重插补问题。基本上，您只需指定分布来表征每个点的不确定性，然后对数据集进行多次绘制。使您的模型适合每组绘图。然后，您对系数进行平均，对方差-协方差矩阵进行平均，并向 VCV 添加一个非负校正，以反映模型彼此之间的差异。

我发现 Gelman 对它的处理在介绍级别上是非常易读的。公式位于组合多重插补部分的末尾：

www.stat.columbia.edu/~gelman/arm/missing.pdf

一皱：噪音是非独立的吗？一个点的错误会预测另一点的错误吗？如果是这样，您需要指定联合分布才能使用 MI，并从多元 pdf 中提取。这会更棘手。

编辑： MI 为您提供适当膨胀的 SE。我不确定你会如何使用它来获得膨胀的 $\sigma$

考虑一个线性估计器拟合线性回归。 $\mathbf{\hat{y}} = \mathbf{X\theta}$ $\mathbf{\theta} = (\mathbf{X^\top X})^{-1}\mathbf{X}^\top \mathbf{y}$

如果是观测值的协方差，则由（见引理）给出： $\mathbf{C}_y = \mathrm{diag}(\sigma_1^2,\sigma_2^2,\ldots,\sigma_m^2)$ $\mathbf{y}$ $\mathbf{\theta}$

C_{θ} = (X^{⊤} X)^{- 1} {X^{⊤} C}_{y} X (X^{⊤} X)^{- 1}

$\mathbf{C}_\theta = (\mathbf{X^\top X})^{-1}\mathbf{X^\top C}_y \mathbf{X}(\mathbf{X^\top X})^{-1}$

引理

线性映射的协方差是与的协方差。 $\mathbf{y} = \mathbf{Ax} + \mathbf{b}$ $\mathbf{C}_y = \mathbf{AC}_x\mathbf{A^\top}$ $\mathbf{C}_x$ $\mathbf{x}$

其它你可能感兴趣的问题

上一篇如何检验两个小样本的均值和方差是否相同？下一篇是否有“审查”空间点过程的模型？