在我看来, gungs 的答案是对在经验分析中比较不同变量的相对强度的想法的批评,而无需考虑这些变量如何相互作用或所有相关变量的(真实)联合分布的样子的模型。想想运动员身高和体重的重要性的例子。没有人可以证明,例如,加性线性回归是条件期望函数的良好近似,或者换句话说,身高和体重可能以非常复杂的方式对运动员的表现很重要。您可以运行包含两个变量的线性回归并比较标准化系数,但您不知道结果是否真的有意义。
举一个米老鼠的例子,看看运动攀岩者(我最喜欢的运动),这里是根据从网站 8a.nu 获取的一些表现衡量标准的顶级男性登山者列表,其中包含有关他们的身高、体重和出生年份的信息(仅限于那些有可用的信息)。我们预先对所有变量进行了标准化,因此我们可以直接比较预测变量中的一个标准差变化与性能分布中的一个标准差变化之间的关联。除去插图中异常高的第一名 Adam Ondra,我们得到以下结果。:
rm(list=ls(all=TRUE))
# Show only two decimal places
options(digits=2)
# Read Data and attach
climber<-read.table("https://drive.google.com/uc?export=&confirm=no_antivirus&id=0B70aDwYo0zuGNGJCRHNrY0ptSW8",sep="\t",header=T)
head(climber)
# Drop best climber Adam Ondra who is very tall (kind of outlier)
climber<-subset(climber,name!="Adam Ondra")
# Standardize Predictors
climber$performance_std<-(climber$performance-mean(climber$performance))/sd(climber$performance)
climber$height_std<-(climber$height-mean(climber$height))/sd(climber$height)
climber$weight_std<-(climber$weight-mean(climber$weight))/sd(climber$weight)
climber$born_std<-(climber$born-mean(climber$born))/sd(climber$born)
# Simple Regression, excluding intercept because of the standardization
lm(performance_std~height_std+weight_std-1,data=climber)$coef
height_std weight_std
-0.16 -0.25
完全忽略标准误差等,似乎体重比身高更重要或同等重要。但有人可能会争辩说,随着时间的推移,登山者已经变得更好了。或许我们应该控制群体效应,例如通过更好的室内设施提供培训机会?让我们包括出生年份!
# Add year of birth
lm(performance_std~height_std+weight_std+born_std-1,data=climber)$coef
height_std weight_std born_std
-0.293 -0.076 0.256
现在,我们发现年轻和小比苗条更重要。但现在另一个人可以说这仅适用于顶级登山者?比较整个性能分布中的标准化系数(例如通过分位数回归)可能是有意义的。当然,对于更小更苗条的女性登山者来说,情况可能会有所不同。没人知道。
这是我认为 gung 所指的米老鼠示例。我并不那么怀疑,我认为查看标准化系数是有意义的,如果你认为你已经指定了正确的模型或者加法可分性是有意义的。但这通常取决于手头的问题。
关于其他问题:
这是否等同于说我们不应该使用标准化系数来评估重要性,因为我们可能随机抽样了有限范围的 X1 值和更广泛的 X2 值?那么当我们标准化这个问题并没有消失时,我们最终会错误地认为 X1 是一个比 X2 更弱的预测器?
是的,我想你可以这样说。通过包括与 X1 相关的重要变量但省略与 X2 相关的那些变量,“更广泛的 X2 值范围”可能是通过遗漏变量偏差产生的。
如果真正的 r 正好为 0,为什么问题会消失?
省略的变量偏差又是一个很好的例子。如果省略的变量与预测变量以及结果相关,则它们只会导致问题(或偏差),请参阅维基百科条目中的公式。如果真r恰好为 0,而变量与结果不相关,并且没有问题(即使它与预测变量相关)。
其他方法(例如查看半部分系数)如何解决这个问题?
其他模型如半偏系数也面临同样的问题。如果您的数据集足够大,您可以进行例如非参数回归并尝试在不假设函数形式(例如加性可分性)的情况下估计完整的联合分布来证明您正在做的事情是正确的,但这绝不是证明。
总而言之,我认为比较标准化或半部分系数是有意义的,但这取决于你自己或其他人为什么你认为它是有意义的。