什么是概率分布?

机器算法验证 可能性 自习 分布 数理统计 定义
2022-03-25 07:58:00

这是一个非常基本的问题,也许是一个愚蠢的问题,但我很难理解概率分布的实际定义。

例如,在 Wasserman 的“所有统计数据”中,他说“如果是有限的,并且如果每个结果的可能性相同,则,称为均匀概率分布。”ΩP(A)=|A|/|Ω|

这向我表明,概率分布专门指选择的概率度量,即概率分布与概率空间相关的度量。然而,在维基百科和其他在线网站上,概率分布仅在某些随机变量的上下文中定义,例如“概率分布是描述随机变量的可能值及其相关概率的函数”。所以我的问题是,概率分布是给定空间上的度量,还是给定随机变量的 pdf/pmf?当我们说我们从概率分布中“绘制一个随机变量”时,这是否意味着我们使用该概率度量从给定的概率空间构造一个随机变量,或者我们的随机变量具有该 pdf/pmf?这是一个有意义的区别吗?

2个回答

概率分布是随机变量的随机结构的规范。 ”(Gentle,矩阵代数,第 9 章)

也就是说,是的,您可以正确地假设,就概率论中的距离而言,就是所谓的概率测度、或概率分布定律或概率分布。(这里的所有可测量子集的集合,其中本身就是样本空间。)(参见 Deza 和 Deza,距离百科全书,第 14 章)PAAΩΩ

因此,我认为“什么是概率分布”这个问题的答案取决于使用该短语的上下文。对于大多数应用目的,例如从与我们的数据相关联的概率分布中“绘制随机变量”,使用具有特定 PMF/PDF 的变量的概念是完全足够的;没有人明确定义概率空间,而只是通过假设特定的概率分布来间接暗示它。这实际上也是计算完成的;在大多数情况下,在随机数生成期间,通过分布的逆 CDF 或通过某种复合方案(例如拒绝抽样),我们在样本中强制执行特定的 PMF/PDF。不过,在数学上,是的,P在给定空间上定义一个随机变量。

关于为什么我们需要 σ -代数来定义概率空间,有一个很好的线索?这更多地质疑围绕概率空间的机制。在这方面,Math.SE 也有一些非常相关的主题,关于密度和分布之间的差异 [用正式的数学术语]以及“概率密度函数”和“概率分布函数”之间的差异。

概率分布上的正测度,其中 -algebra和总质量为它自然地与随机变量相关联,因为每个随机变量都有一个概率分布,并且给定一个概率分布,人们总是可以用这个概率分布构造一个随机变量。引用Terry Tao 的 254A,Notes 0: A review of probability theory,随机变量是来自样本空间的可测量变换,该样本空间具有概率分布,其中PXσAP(X)=1Ω(Ω,B,μ)μ(Ω)=1, 到集合上:X

定义 3(随机变量) 令是一个可测空间(即一个集合,配备了 -代数)。中取值随机变量(或值随机变量)是从样本空间到,即函数使得 是每个的事件。R=(R,R)RσRRRXR

X:ΩR
X1(S)SR

(虽然我不认为的可测量性对定义是必要的,因为被自动定义为转换后的 -algebra)。RR=X(B)σ

引理 4(创建具有指定分布的随机变量)是可测量空间上的概率测度。然后(在必要时扩展样本空间 {\Omega} 之后)存在一个值随机变量分布μR=>(R,R)RXμ