为什么要平方差而不是取标准差的绝对值?

机器算法验证 标准差 定义 绝对值 常问问题
2022-01-21 10:04:35

在标准差的定义中,为什么我们必须对均值的差进行平方才能得到均值(E)并在最后取平方根难道我们不能简单地取差值的绝对值,然后得到它们的期望值(平均值),那不也显示数据的变化吗?数字将不同于平方法(绝对值法会更小),但仍应显示数据的分布。有人知道为什么我们以这种方形方法为标准吗?

标准差的定义:

σ=E[(Xμ)2].

我们不能只取绝对值而仍然是一个很好的衡量标准吗?

σ=E[|Xμ|]

4个回答

如果标准差的目标是总结对称数据集的散布(即通常每个数据与平均值的距离),那么我们需要一种定义如何测量散布的好方法。

平方的好处包括:

  • 平方总是给出一个非负值,所以总和总是为零或更高。
  • 平方强调更大的差异,这个特征既好又坏(想想异常值的影响)。

然而,平方作为价差的度量确实存在问题,即单位都是平方的,而我们可能更喜欢价差与原始数据的单位相同(想想平方磅、平方美元或平方苹果) . 因此,平方根允许我们返回到原始单位。

我想您可以说绝对差异为数据的传播分配了相同的权重,而平方则强调了极端。但是,正如其他人指出的那样,从技术上讲,平方使代数更易于使用,并提供了绝对方法所没有的属性(例如,方差等于分布平方的期望值减去分布平方的平方)分布的平均值)

重要的是要注意,如果这是您希望如何查看“传播”的偏好,那么您没有理由不能接受绝对差异(有些人如何将 5% 视为,实际上它取决于情况)。事实上,实际上有几种相互竞争的方法来测量价差。p

我的观点是使用平方值,因为我喜欢思考它与统计勾股定理的关系: ...这也有助于我记住在使用独立随机变量时,方差加,标准差不加。但这只是我个人的主观偏好,我主要用作记忆辅助,请随意忽略这一段。c=a2+b2

可以在这里阅读一个有趣的分析:

平方差具有更好的数学性质;它是连续可微的(当你想最小化它时很好),它是高斯分布的足够统计量,它是 L2 范数的(一个版本),可用于证明收敛等。

平均绝对偏差(您建议的绝对值表示法)也可用作离散度的度量,但它不像平方误差那样“表现良好”。

您可以想到的一种方式是标准差类似于“与平均值的距离”。

将此与欧几里得空间中的距离进行比较 - 这为您提供了真正的距离,您建议的距离(顺便说一句,是绝对偏差)更像是曼哈顿距离计算。

我们计算标准偏差而不是绝对误差的原因是我们假设误差是正态分布的。它是模型的一部分。

假设您正在用尺子测量非常小的长度,那么标准偏差是衡量误差的不好衡量标准,因为您知道您永远不会意外地测量出负长度。更好的指标是帮助将 Gamma 分布拟合到您的测量值:

log(E(x))E(log(x))

与标准差一样,这也是非负的和可微的,但它是这个问题的更好的误差统计量。