广义线性模型 - 指数族有什么特别之处?

机器算法验证 回归 广义线性模型 指数族
2022-03-12 13:44:16

广义线性模型中,响应变量的条件分布必须属于指数族。为什么这个限制很重要?如果我们选择指数族之外的分布,回归模型会失去什么属性?

1个回答

Jaynes 的论点是,当您离开指数族时,您的估计量不再是足够的统计量。如果一个统计量对于一个参数来说是足够的,那么Pr(t|θ)=Pr(X|θ). 暗示t中的信息与样本Xt中的信息相同贝叶斯方法总是使用X中的所有信息。非贝叶斯方法使用统计量。如果该统计数据包含相同的信息,那么估计器将不会更糟。XX

如果统计量不充分,那么它将比贝叶斯估计值更嘈杂。贝叶斯估计量总是可接受的统计量。如果分布不在指数族中,则贝叶斯估计量将随机支配它,因此估计量将不可接受。

因此,如果您不做出这样的假设,那么您最好在所有情况下都使用贝叶斯模型。如果是这样,您为什么要使用替代方案?