为什么偏斜和异方差会导致偏差?

机器算法验证 r 机器学习 分布
2022-03-22 02:00:54

我是新手,正在 Kaggle 上尝试 Zillow 有奖竞赛。我已经阅读了 Zillow 在他们的常见问题解答中使用相对错误的原因。(我认为这不是 Zillow 特有的问题,而是机器学习中的一般问题)

问:为什么 Zillow 选择日志错误而不是 RMSE 等绝对错误指标?
A : 房屋销售价格具有右偏分布,并且具有很强的异方差性,因此我们需要使用相对误差指标而不是绝对指标来确保估值模型不会偏向于昂贵的房屋. 像百分比错误或对数比率错误这样的相对错误度量可以避免这些问题。虽然我们在 Zillow.com 上以百分比的形式报告 Zestimate 错误,因为我们认为这对于消费者来说是一个更直观的指标,但我们不提倡使用百分比错误来评估 Zillow Prize 中的模型,因为它可能会导致模型有偏差。没有这种偏差问题,并且在使用自然对数时,误差非常接近接近 1 的近似百分比误差。有关相对误差以及为什么应使用日志误差而不是百分比误差的更多信息,请参阅本文。

我在这里询问了这个常见问题的解释所以我主要理解“右偏异方差分布”是什么意思。但我仍然不明白为什么这些事情是问题。

以下是问题。

  1. “偏向昂贵的房屋”是什么意思?这是否意味着模型对昂贵房屋的预测误差高于廉价房屋?

  2. 为什么我们需要避免制作“有偏见”的模型?很难说在昂贵房屋上误差较高的模型不好,因为便宜的房子比昂贵的房子多。我不能说哪个更好。

  3. 是什么导致模型“偏向于昂贵的房屋”,为什么会发生“偏向”?它是由“右偏”或“异方差”引起的,还是两者兼而有之?

在 jon_simon 的回答之后编辑:

我将解释我的理解和混淆点。请纠正我!

  1. 我知道绝对误差可能会受到 Y 大小的不成比例的影响,这就是我们应该使用相对误差度量的原因。但是我还不明白的是“这个问题可能是由右倾斜引起的”。(在 jon_simon 的回答中)

  2. 假设房屋销售价格问题是左偏分布。它将被绘制成这样:( 左偏分布 我定义了低价和高价的截止点以更清楚地解释。)

  3. 高价住宅比低价住宅多,高价住宅对 RMSE 等绝对误差指标的影响更大。因此,如果我们使用 RMSE,获得更好模型的关键是更多地减少昂贵房屋的预测误差。低价房屋的预测误差相对不那么重要。所以最终选择的模型应该有能力在高价模型中产生更低的错误,我认为这就是我第一个问题中“有偏见”的意思。

  4. 但我认为这样的房价右偏分布是不同的: 右偏分布

同样的,高价房比低价房对RMSE的影响更大。但不同的是低价房屋的数量。低价房比高价房多得多,就总误差而言,低价房比左偏分布的影响更大。所以,我想我们不知道最终的模型会偏向低价住宅还是高价住宅。(在右偏分布中)
换句话说,这是一个这样的问题:“是 sum(低价房的绝对误差)比总和(高价房的绝对误差)大(还是小)?”

如果我们可以说右偏分布肯定会导致“偏向昂贵的家庭”模型,我会感到困惑。(使用 RMSE)

1个回答

在这种情况下,“有偏见”本质上是指“受到不成比例的影响”。RMSE是一种常用的误差度量,它对所有预测的总平方误差求和。在这种情况下,如果您的模型分别以 ​​90% 的准确率预测价值 100,000 美元的房屋价值1,000,000 美元的房屋的价值,那么您将因 1,000,000 美元房屋的 10% 预测误差而受到 100 倍的惩罚因为

(1,000,000900,000)2(100,00090,000)2=100,000210,0002=100

Zillow 通过使用不同类型的误差度量来解决这个问题,该度量对与预测大小成比例的误差进行惩罚,因此在上述示例的情况下,两个 10% 的误差都会受到相同程度的惩罚。

这个问题可能是由单独的右偏(存在非常高价的房屋)或单独的异方差(高价房屋的可变性更大)引起的,但两者加在一起会使问题变得更糟。

这个问题从根本上与异方差相关(价格越高,变异性越大),并且显着右偏的响应变量经常表现出与解释变量相关的一定程度的异方差。

编辑以回应烟灰缸的编辑:

我已经改变了我的回答,以限定仅右偏可以使模型产生偏差的陈述。如果响应变量是右偏斜的,但样本相对于自变量是完全同方差的,则不会出现 RMSE 的这个问题,因为方差(因此误差)在所有尺度上都是相同的。然而,在几乎所有响应变量显着右偏的实际场景中,样本也会表现出一定程度的异方差性。

至于您关于这是否保证会不可避免地对旨在惩罚 RMSE 的模型产生不可挽回的偏见的问题,答案是不一定。然而更重要的问题是,即使您有足够的廉价房屋数据来补偿更昂贵的房屋,您是否正在构建一个实际预测您想要什么的模型?通过使用 RMSE,您含蓄地说,您关心100,000 美元房屋价格的 10,000 美元差异,就像您关心 1,000,000 美元房屋的价格甚至100,000,000美元房屋价格一样,这几乎是当然不是真的。

希望我已经设法回答了你所有挥之不去的问题。