机器算法验证 - 使用协变量相关误差对线性回归建模 - 吾爱随笔录 - 问答

使用协变量相关误差对线性回归建模

机器算法验证回归异方差

2022-03-15 20:24:48

我有一个形式的模型。误差项独立于依赖于以及全局参数的分布；但是，在给定的情况下，噪声的条件均值。目标是根据样本制定模型并得出参数和的良好估计量。 $y_i = a*x_i + b + e_i$ $e_i$ $x$ $0$ $x$ $a$ $b$ $(x; y)$

任何人都可以为这个问题推荐 1/2 模型吗？

编辑：因为意味着。所以我能想到的唯一两个模型是： $E[e|x]=0$ $E[e]=0$

$e \sim N(0, x^2 \sigma^2)$ 和
$e \sim t(0,x^2,v)$ ，在第二个模型中，我正在考虑具有尺度参数和分布。 $t$ $x^2$ $df=v$

我的问题是：我建议的 2 个模型是否正确，还有更多模型吗？

2个回答

您可以使用迭代可行的广义最小二乘法。

首先将每个数据点的权重设置为 1，即不加权。

使用权重为每个数据集拟合加权回归模型。
创建一个组合残差/错误及其各自 x 值的数据集。
适合。如果噪声为零均值，则等于处的误差方差。 $e_i^2 = a\cdot x_i + b$ $e_i^2$ $x_i$
使用平方误差预测模型更新您的权重
回到 1 直到收敛。

如果您的误差项的分布可以用两个独立的参数来描述，例如均值独立于方差的高斯分布，那么您的问题就很熟悉了。由于我们只能根据获得误差的方差/比例。在这种情况下，您的回归模型具有异方差性。GLS（广义最小二乘法）适用于这个问题，而 LS（最小二乘法）假设同方差。 $E(error|x)=0$ $x$

其它你可能感兴趣的问题

上一篇计算 PDF 在恒定密度的闭合轮廓内的积分下一篇ARIMA 模型中随机游走的预测