期望符号

机器算法验证 损失函数 符号 决策理论
2022-04-02 08:47:45

在统计决策理论中,人们经常研究以下两种度量(来自“贝叶斯选择”):

平均损失(又名常客风险):

R(θ,δ)=Eθ[L(θ,δ(x))]=XL(θ,δ(x))f(x|θ)dx

后预期损失

ρ(π,d|x)=Eπ[L(θ,d)|x]=ΘL(θ,d)π(θ|x)dθ

我对这个符号感到困惑:子索引(例如中的\theta ),超索引(例如中的\pi )和条件(例如中的 ) 代表什么时候定义期望θEθπEπxL[.|x]

作为参考,在上面的公式中:

  • δ(x)被称为决策规则(即将决策分配给每个结果 x f(x|θ)
  • 也称为δ(x)θ
  • 函数被称为估计量δ
  • π是给定的后验分布θx
1个回答

隔离特定期望中的所有活动部件可能会有所帮助。这样做时,请记住,期望是 Lebesgue-Stieltjes 积分。

我将稍微修改一下符号,用来表示一个随机变量,表示该随机变量在其支持中取的一个固定值,即 .XxxXsupport(X)

  • 对于平均损失,区分真实参数风险的参数值可能会有所帮助。θ0θδ

R(θ,δ)=Eθ0(L(θ,δ(X))),θΘ=XL(θ,δ(x))dPθ0(x)
注意这里的积分是关于生成随机变量的真实潜在概率测度,它属于模型类 ,XP={PθθΘ}Pθ0P

如果概率测度相对于 Lebesgue 测度是绝对连续的,那么我们可以等价地写成你写的

R(θ,δ)=XL(θ,δ(x))f(xθ0)dx

  • 对于后验损失,它以值为条件定义,也就是说,它以您观察到数据为为条件,事情就更简单了。它只是说期望是关于后验的积分,这取决于的值,如果数据发生变化,后验将会改变,后验预期损失也会改变。xXX=xX

以下符号可能会澄清问题(或不澄清),

ρ(π(x),dX=x)=Eπ(x)(L(θ,d)X=x)=ΘL(θ,d)π(θx)dθ
指示条件变量出现的准确位置在积分。