机器算法验证 - 尾部概率界限磷( | Z| >t)P(|Z|>t)对小的往往没用t > 0t>0. 这是为什么？ - 吾爱随笔录 - 问答

尾部概率界限磷( | Z| >t)P(|Z|>t)对小的往往没用t > 0t>0. 这是为什么？

机器算法验证可能性正态分布界限

2022-04-01 23:02:33

背景

我正在学习关于概率和推理的入门课程。我们最近讨论了几个有用的不等式，我将在下面列出：

马尔可夫不等式

让 $X$ 是一个非负随机变量并假设 $E(X)$ 存在。对于任何 $t>0$ ,
$P (X > t) \leq \frac{E (X)}{t}$ $P(X>t) \leq \frac{E(X)}{t}$

马尔可夫不等式的扩展

让 $Z \sim N(0,1)$ . 让 $t>0$ . 证明，对于任何 $k>0$ ,
$P (| Z | > t) \leq \frac{E | Z |^{k}}{t^{k}}$ $P(|Z|>t) \leq \frac{E|Z|^k}{t^k}$ 并且，为了找到最好的界限，你可以最小化 $k>0$ .

切比雪夫不等式 $Z\sim N(0,1)$

让 $k > 0$ .
$P (| Z | \geq k) \leq \frac{1}{k^{2}}$ $P(|Z|\geq k) \leq \frac{1}{k^2}$

密尔不等式

让 $Z\sim N(0,1)$ . 然后，
$P (| Z | > t) \leq \sqrt{\frac{2}{π}} \frac{e^{- t^{2} / 2}}{t}$ $P(|Z|>t) \leq \sqrt{\frac{2}{\pi}} \frac{e^{-t^2/2}}{t}$

问题

出于好奇，我最终绘制了其中几个边界，以查看它们在应用于 $Z \sim N(0,1)$ . 我还绘制了真实的尾部概率 $P(|Z|>t)$ .

我注意到所有这些界限对于小 $t$ （例如， $t<0.7$ ）。所有的界限都说 $P(|Z|>t) < 1$ ，我们已经知道了！

有没有什么明显的答案为什么这些常见的界限只对更大的有用？ $t$ ? 是否更难确定何时 $t$ 是小？

2个回答

这里要注意的第一件事是，在某些情况下，概率的上限高于 1，显然你可以截断这些以使它们成为 Chebychev 界和 Mills 界高于 1 的一个，这实际上只是一个约定问题--- 即，表达式不费心区分统一的无用边界和统一之上的无用边界。

撇开这种复杂性不谈，看待这个问题的一种方法是尝试在每种情况下找到最糟糕的分布——即达到规定界限的分布。例如，假设我们只考虑适用于任何分布的切比雪夫不等式。在这种情况下，边界的无用性对于小 $t$ 是邪恶的伯努利分布的错！为简单起见，考虑这个分布的移位版本，具有概率质量值：

P (Z = - 1) = P (Z = 1) = \frac{1}{2} .

$\mathbb{P}(Z=-1) = \mathbb{P}(Z=1) = \frac{1}{2}.$

对于这个分布，我们有：

P (| Z | > t) = {\begin{cases} 1 & if t < 1, \\ 0 & if t ⩾ 1. \end{cases}

$\mathbb{P}(|Z| > t) = \begin{cases} 1 & & \text{if } t < 1, \\[6pt] 0 & & \text{if } t \geqslant 1. \\[6pt] \end{cases}$

Chebychev 不等式必须适应这种分布，所以在 $t<1$ . 在这种情况下，只能说尾部概率不大于一！您可以对其他不等式进行同样的处理，尝试找到达到规定界限的分布（或接近它的分布序列）。

的分布 $\bar X$ 接近真实均值将取决于分布 $X$ 接近真实平均值，因此您将无法仅通过对时刻或其他期望进行假设来限制它。此外，对尾部边界有更多的理论兴趣，因此需要更多的工作来完善它们。

结果 $\bar X$ 接近平均值往往不是明确的界限。Edgeworth 和 Cornish-Fisher 展开是示例：对接近均值的值有效，但误差仅达到某个顺序 $n$ . 例如，Johnson给出了置信区间的近似值 $\bar X$ 基于 Cornish-Fisher 扩展，适用于相当广泛的分布，但没有给出明确的界限。鞍点扩展是另一个例子：非常准确，但误差仅限于未知常数。

其它你可能感兴趣的问题

上一篇归一化交叉熵下一篇术语：无条件异方差