有人可以给出平均绝对误差和中位数背后的直觉吗?

机器算法验证 意思是 中位数 毫秒 平均类型
2022-02-14 05:08:50

如果我们要使用平均绝对误差来判断预测准确性,我不明白为什么中位数是最佳估计值背后的直觉。假设你有一个随机变量X你想预测接下来会发生什么X是。让我们将您的预测表示为 d。

在均方误差下,即:

MSE=(Xd)2

我们知道预期 MSE 或 MSE 之和在以下情况下最小化d等于平均值​​或E[X]. 这在直觉上是有道理的。随机变量的最佳预测指标是其均值。

但是,在平均绝对误差下,即:

MAE=|Xd|

预期的 MAE 或 MAE 的总和最小化d等于随机变量的中位数。虽然我正在阅读的这本书有一个精美的证据来说明为什么会出现这种情况,但直觉上我不明白为什么中位数会是最好的预测指标。我也不明白为什么平均值(或中位数)不是两者的最佳选择。

2个回答

这是一个关于轻数学的直观论点。假设我们有一个d声称要最小化点的 MAExi. 而且,假设我们有nlnr点在它的左边和右边。如果我们搬家d稍微左一点,即一定量Δ,那么左边的所有绝对差减少Δ,并且右边的所有绝对差增加Δ,导致净减少(nlnr)Δ在 MAE。如果nlnr,d总是有动力向左或向右移动,因为每次移动都会减少或增加 MAE。例如,如果nr<nl,然后我们向左移动,因为 MAE 的净减少是(nlnr)Δ, 而如果nl<nr我们向右移动,因为净减少量将是(nrnl)Δ. 这一直持续到我们到达nl=nr中位数满足。

gunes 已经用简单的公式给出了一个绝妙的答案。这是我的一个数字示例来测试它:考虑集合 {1, 1, 1, 1, 1, 1, 1, 1, 1, 11}; 也就是9个1和一个11。均值是2,中位数是1。

当您将绝对值之和视为距离之和时,中位数与 9 个值的距离为 0,但与最终值的距离为 10,总和为 10。通过将比较值移动一个单位为 2 (平均值),我们将距离总和从九个值中的每一个增加 1,并从单个最终值减少 1,总和为 17。

应用 gunes 中的公式,当您从中位数向右移动任何小的值时Δ, 你加9Δ并减去1Δ,这意味着总和总共增加了8Δ. 如果你向左移动,那么总和会增加10Δ.

根据直觉,当左侧和右侧的值数量相等时,您将停止向左或向右移动。这可以是奇数个值的中值(中间值),也可以是偶数个值时两个中间值之间的任何值。

为了证明最后一点:考虑集合 {1, 2, 3, 4}。这里的中位数定义为 2.5。但是您可以在 2 和 3 的两个中间值(包括)之间使用一个点。对于 [2, 3] 范围(对于 2、2.5、3 或介于两者之间的任何值),距离之和将为 4。