样本最大值的方差是多少?

机器算法验证 方差 界限 极值
2022-01-26 03:33:59

我正在寻找一组随机变量的最大值方差的界限。换句话说,我正在寻找 B 的封闭式公式,例如

Var(maxiXi)B,
where X={X1,,XM} 是一组固定的 M 随机变量,具有有限均值 μ1μM 和方差 σ12σM2

我可以推断出

Var(maxiXi)iσi2,
但这个界限似乎很松散。数值测试似乎表明 B=maxiσi2 可能是一种可能性,但我无法证明这一点。任何帮助表示赞赏。

2个回答

对于任何 $n$ 随机变量 $X_i$ ,最好的一般界限是 $\newcommand{\Var}{\mathrm{Var}}\Var(\max X_i) \le \sum_i \Var(X_i)$ 如所述原来的问题。这是一个证明草图:如果 X,Y 是 IID,则 $E[(XY)^2] =2\Var(X)$。给定一个可能因变量 $(X_1,\ldots ,X_n)$ 的向量,令 $(Y_1,\ldots ,Y_n)$ 是具有相同联合分布的独立向量。对于任何 $r>0$,我们有 $P[ |\max_i X_i-\max_i Y_i|^2 >r] \le \sum_i P[ | X_i-Y_i|^2 >r]$,并将这个 $dr$ 从 $0$ 积分到 $\infty$ 产生所声称的不等式。n random variables Xi , the best general bound is Var(maxXi)iVar(Xi) as stated in the original question. Here is a proof sketch: If X,Y are IID then E[(XY)2]=2Var(X). Given a vector of possibly dependent variables (X1,,Xn), let (Y1,,Yn) be an independent vector with the same joint distribution. For any r>0, we have by the union bound that P[|maxiXimaxiYi|2>r]iP[|XiYi|2>r], and integrating this dr from 0 to yields the claimed inequality.

如果$X_i$ 是概率事件$\epsilon$ 的IID 指标,那么$\max X_i$ 是概率事件$n\epsilon+O(n^2 \epsilon^2)$ 的指标。固定 $n$ 并让 $\epsilon$ 趋于零,我们得到 $\Var(X_i)=\epsilon-\epsilon^2$ 和 $\Var(\max_i X_i)= n\epsilon +O(n^2 \epsilon^2)$。Xi are IID indicators of events of probability ϵ, then maxXi is an indicator of an event of probability nϵ+O(n2ϵ2). Fixing n and letting ϵ tend to zero, we get Var(Xi)=ϵϵ2 and Var(maxiXi)=nϵ+O(n2ϵ2).

MathOverflow 上的一个问题与这个问题有关。

对于 IID 随机变量,$k$th 最高的称为顺序统计量kth highest is called an

即使对于 IID Bernoulli 随机变量,除中位数之外的任何阶统计量的方差都可能大于总体方差。例如,如果 $X_i$ 为 $1$,概率为 $1/10$,$0$,概率为 $9/10$,$M=10$,则最大值为 $1$,概率为 $\约 1-1/e$,所以总体方差为 0.09 美元,而最大值的方差约为 0.23 美元。Xi is 1 with probability 1/10 and 0 with probability 9/10 and M=10, then the maximum is 1 with probability 11/e, so the variance of the population is 0.09 while the variance of the maximum is about 0.23.

这里有两篇关于订单统计方差的论文:

Yang, H. (1982) “关于中位数和其他一些阶数统计的方差”。公牛。研究所。数学。学院派。Sinica, 10(2) pp. 197-204

Papadatos, N. (1995) “订单统计的最大方差”。安。研究所。统计学家。数学,47(1)第 185-193 页

我相信第二篇论文中最大值方差的上限是 $M\sigma^2$。他们指出不可能发生相等,但对于 IID Bernoulli 随机变量,可能会出现任何较低的值。Mσ2. They point out that equality can't occur, but any lower value can occur for IID Bernoulli random variables.