机器算法验证 - 在贝叶斯统计中，数据被认为是非随机的，但可以有概率或有条件。如何？ - 吾爱随笔录

在贝叶斯统计中，数据被认为是非随机的，但可以有概率或有条件。如何？

机器算法验证可能性贝叶斯随机变量可能性

2022-01-29 14:29:56

在贝叶斯统计中，参数被称为随机变量，而数据被称为非随机变量。然而，如果我们看一下贝叶斯更新公式

p (θ | y) = \frac{p (θ) p (y | θ)}{p (y)},

$p(\theta|y)=\frac{p(\theta)p(y|\theta)}{p(y)},$ 我们发现概率（密度或质量）取决于数据以及数据本身的条件和无条件概率（密度或质量）。

考虑以常数或常数的概率（密度或质量）为条件的概率（密度或质量）有何意义？

4个回答

（参数）统计推断的贝叶斯方法从统计模型开始，即一系列参数化分布，

X \sim F_{θ}, θ \in Θ

$X\sim F_\theta,\qquad\theta\in\Theta$ 它在参数上引入了一个补充概率分布

θ \sim π (θ)

$\theta\sim\pi(\theta)$ 后验分布

θ

$\theta$ 因此被定义为条件分布

θ

$\theta$ 有条件的

X = x

$X=x$ ，观察到的数据。这种构造显然依赖于数据是具有明确分布的随机变量的实现这一假设。否则就不可能定义像后验这样的条件分布，因为没有随机变量可以作为条件。

可能的混淆可能源于这样一个事实，即贝叶斯方法和常客方法之间的区别在于常客程序是根据它们的频率属性进行评估和比较的，即通过对所有可能的实现进行平均，而不是像贝叶斯方法那样以实际实现为条件做。例如，程序的频率风险 $\delta$ 对于损失函数 $L(\theta,d)$ 是

R (θ, δ) = E_{θ} [L (θ, δ (X))]

$R(\theta,\delta) = \mathbb E_\theta[L(\theta,\delta(X))]$ 而贝叶斯后验损失程序

δ

$\delta$ 为先

π

$\pi$ 是

ρ (δ (x), π) = E^{π} [L (θ, δ (x)) | X = x]

$\rho(\delta(x),\pi) = \mathbb E^\pi[L(\theta,\delta(x))|X=x]$

也许混乱来自于短手 $p(\theta|y)$ 这实际上意味着 $p(\theta|Y=y)$ , 随机变量 $Y$ 解释为生成数据采用固定值 $y$ ，在实际观察数据后修复？所以数据是随机的，只要它们是不确定的，即没有完全观察到，就具有分布的意义，然后它们通过观察变得固定。（不过，没有什么特别贝叶斯的。）

阅读对原始问题的评论，“对于主观贝叶斯来说，没有什么是随机的” - 没有什么是真正/客观上随机的（至少对于主观贝叶斯来说），但是在被随机变量建模的意义上它可以是随机的。因此，另一个混淆的来源可能是以“哲学”方式（指的是“真正随机”的东西，在将随机性作为内在属性的意义上）和数学/技术方式，指的是在概率模型中显示为随机变量的事物。

对你选择的陈述要非常小心。“非随机”与“观察到的”非常不同。

在贝叶斯统计中，一切都是随机变量，这些随机变量之间的唯一区别是有些是观察到的，有些是隐藏的。

例如在你的情况下 $y$ 是观察到的随机变量，并且 $\theta$ 是一个隐藏的随机变量，你的目标是估计的后验分布 $\theta$ 以观察到的为条件 $y$ .

这就是说在贝叶斯思维方式中我们不应该重蹈覆辙 $y$ 就像传统意义上的常数一样，它是随机变量的实例或关联。（在大多数贝叶斯统计文献中，变量的观察值也称为“证据”。）

具体来说，考虑掷骰子的简单情况。每张脸都有被抛出的概率。所有掷骰的结果是非随机的（它是通过多次掷骰子确定的固定模式）。
在这种模式下，您可以应用新的出现机会。如果你掷两个骰子，就会出现一个新的模式。这是因为不同的骰子会产生不同的结果（仅在完美骰子的情况下，每个骰子的机会分布与其他骰子的机会分布相同）。不同掷中使用的骰子相同的机会非常小。但是有机会。这个机会是通过将机会应用于骰子的非随机机会分布来衡量的（对于每个骰子，这是一个不同的分布，尽管它们都非常相似）。

其它你可能感兴趣的问题

上一篇Kolmogorov-Smirnov 检验是否有多样本版本或替代方案？下一篇为什么不使用“正规方程”来找到简单的最小二乘系数？