机器算法验证 - 样本方差的替代（？）定义 - 吾爱随笔录

样本方差的替代（？）定义

机器算法验证方差定义

2022-03-19 03:27:00

样本的方差可以定义为

s^{2} = \frac{1}{2} \frac{1}{n (n - 1)} \sum_{i} \sum_{j \neq i} {(x_{i} - x_{j})}^{2}

$s^2 = \frac{1}{2}\frac{1}{n(n-1)}\sum_{i}\sum_{j\ne i}\left(x_i - x_j\right)^2$

除了的因素，这可以口头解释为 $1/2$

方差是不同数据点对之间的平方距离的平均值

在数学上，这相当于方差的“通常”定义，。然而，从概念上讲，它（在我看来）在两个方面完全不同： $s^2 = \frac{1}{n-1}\sum \left(x_i -\bar{x} \right)^2$

这个定义没有参考平均值 ; 我们不是在测量点与平均值之间的距离，而是在测量点之间的距离。 $\bar{x}$
的因子——众所周知，它是学生混淆的根源（参见，例如，计算标准差时除以的直观解释？）——自然出现，因为有有序的不同数据点对。不需要关于“缓冲”样本方差的挥手理由，也不需要复杂的估计偏差计算。 $n-1$ $n-1$ $n(n-1)$ $(x_i, x_j), i\ne j$

同样，为了清楚起见，我理解为什么的分母，并且我理解上面的双和定义在数学上等同于标准定义。我想知道的： $s^2$ $n-1$

是否有上下文（教学或其他）更常提及方差的替代定义（作为数据点对的双和）？例如，是否有任何教科书将其作为主要定义？

1个回答

使用对称性，你的双和可以写成和因此是一个2阶 U 统计量，内核用于估计参数， , iid。它实际上是 U 统计量中最突出、最重要的例子之一，并在理论数学统计课程中大放异彩。

s^{2} = {ave}_{i < j} f (x_{i}, x_{j})

$s^2 = \text{ave}_{i < j} f(x_i, x_j)$

f (x, y) := \frac{1}{2} (x - y)^{2}

$f(x, y) := \frac{1}{2} (x - y)^2$

f

$f$

θ = E (f (X, Y)) = \dots = Var (X)

$\theta = E(f(X, Y)) = \ldots = \text{Var}(X)$

X

$X$

Y

$Y$

成为 U 统计量很好，因为例如

一个 U 统计量自动是“最优的”，在U偏差最小方差的意义上（再见 Rao-Blackwell 定理）和
它的方差有一个（或多或少明确的）公式，因此它的标准误差。

的这种替代表示在实践中很少使用，尽管正如您所提到的，它似乎突出了变化的不同方面（“两个随机选择之间的典型平方差”而不是“随机选择之间的典型平方差”挑选和平均”）。 $s^2$

的 U 统计量表示总是让我想起决策树学习中使用的 Gini 杂质，它通常在分类响应中扮演方差的角色。对于具有水平和的离散随机变量，它被定义为因此是两个随机选择不相等的概率（再次类似于两个随机选择之间的典型差异）。 $s^2$ $Z$ $z_1, \dots, z_m$ $\text{Pr}(Z = z_j) = p_j$

I (Z) = 1 - \sum_{j = 1}^{m} p_{i}^{2} = \sum_{i} \sum_{j \neq i} p_{i} p_{j},

$I(Z) = 1 - \sum_{j = 1}^m p_i^2 = \sum_{i}\sum_{j \ne i} p_i p_j,$

其它你可能感兴趣的问题

上一篇如何知道模型是过拟合还是欠拟合？下一篇关于如何执行嵌套交叉验证的说明