线性回归。将权重解释为对预测的影响?

数据挖掘 机器学习 统计数据 线性回归
2022-03-03 22:33:01

在基本的线性回归中,我可以使用每个解释变量的权重来描述它们对预测值的相对影响吗?如果参数 A 的权重为 100,参数 B 的权重为 10,我可以说参数 A 对结果的影响是参数 B 的 10 倍吗?

一个例子:从一个天气数据集中,我使用了两个参数,湿度和压力,来预测温度。

当我绘制湿度与温度的关系图时,两者之间存在非常明显的反比关系。也就是说,散点图倾向于向下和向右。

当我绘制压力与温度的关系图时,根本没有关系。该报告中的压力变化很小,散点图几乎是垂直的。

根据这两个图,我直觉湿度的变化对高温有影响,而压力的变化几乎没有影响。

我建立了一个线性回归模型(梯度下降,手动,在 Octave 中)。湿度的权重为 -.32386。压力的权重为-.02219。湿度的重量是压力重量的 14.6 倍。

基于此,我可以说参数湿度对温度的影响是参数压力的近 15 倍吗?

原谅一个看起来非常业余的问题。如果您能给出一个相对简单的答案并将我指向可以了解更多信息的资源,我将不胜感激。提前致谢。

2个回答

在基本的线性回归中,我可以使用每个解释变量的权重来描述它们对预测值的相对影响吗?如果参数 A 的权重为 100,参数 B 的权重为 10,我可以说参数 A 对结果的影响是参数 B 的 10 倍吗?块引用

有点是的。准确地说,这意味着如果 A 变化一个单位,结果平均会变化 100 次(而 B 被冻结,因为它是一个多元线性回归 -> 你有多个自变量)。

有大量的示例和博客对其进行解释,请参见此处的示例。您还可以通过执行一些统计测试来更多地分析您的回归模型,例如使用方差膨胀因子识别变量的相关性并估计统计显着性(p 值,F 检验),这是一个非常好的介绍

一个例子:从一个天气数据集中,我使用了两个参数,湿度和压力,来预测温度。

我看不出你的分析有什么问题。正如您所说,您可以通过 -.32386 重量在绘图中看到湿度与温度之间的负相关。虽然 -.02219 的压力权重几乎为零且可以忽略不计,但显然您不会看到压力-温度之间的这种关系。

我认为你的分析有点过于简单化了。比较两个参数的值并没有真正的意义,因为不同的参数可能有不同的尺寸,通过比较不同尺寸的参数,你说的是:这个建筑物的高度比这辆车的重量高两倍.

这个问题问了一个类似的问题,对我来说最合理的选择是使用缩放变量(无量纲)而不是具有维度的测量变量。