机器算法验证 - GLM中规范链接函数的计算 - 吾爱随笔录

机器算法验证广义线性模型链接功能

2022-03-24 04:22:32

我认为规范链接功能 $g(\cdot)$ 来自指数族的自然参数。说，考虑家庭

f (y, θ, ψ) = \exp {\frac{y θ - b (θ)}{a (ψ)} - c (y, ψ)}

$f(y,\theta,\psi)=\exp\left\{\frac{y\theta-b(\theta)}{a(\psi)}-c(y,\psi)\right\}$ 然后

θ = θ (μ)

$\theta=\theta(\mu)$ 是规范链接函数。以伯努利分布为例，我们有

P (Y = y) = μ^{y} (1 - μ)^{1 - y} = \exp {y \log \frac{μ}{1 - μ} + \log (1 - μ)}

$P(Y=y)=\mu^{y}(1-\mu)^{1-y}=\exp\left\{y\log\frac{\mu}{1-\mu}+\log{(1-\mu)}\right\}$ 所以，规范链接函数

g (μ) = \log \frac{μ}{1 - μ}

$g(\mu)=\log\frac{\mu}{1-\mu}$

但是当我看到这张幻灯片时，它声称

g^{'} (μ) = \frac{1}{V (μ)}

$g'(\mu)=\frac{1}{V(\mu)}$ 虽然可以很容易地验证这个特定分布（以及其他一些分布，如泊松分布），但我看不到一般情况的等价性。任何人都可以给出提示吗？谢谢~

1个回答

伯努利变量的方差函数是 $V(\mu) = \mu(1-\mu)$ . 我们可以通过规范链接轻松检查 $g(\mu) = \log \frac{\mu}{1-\mu} = \log \mu - \log(1-\mu)$ 然后

g^{'} (μ) = \frac{1}{μ} + \frac{1}{1 - μ} = \frac{1 - μ + μ}{μ (1 - μ)} = \frac{1}{μ (1 - μ)} = \frac{1}{V (μ)} .

$g'(\mu) = \frac{1}{\mu} + \frac{1}{1-\mu} = \frac{1 - \mu + \mu}{\mu(1-\mu)} = \frac{1}{\mu(1-\mu)} = \frac{1}{V(\mu)}.$

对于一般情况，可以从以下定义中得出

E (Y) = μ = b^{'} (θ) and Var (Y) = b^{″} (θ) a (ψ),

$E(Y) = \mu = b'(\theta) \quad \text{ and } \quad \text{Var}(Y) = b''(\theta) a(\psi),$ 参见例如McCullagh 和 Nelder的第 28-29 页。和

g

$g$ 我们拥有的规范链接

θ = g (μ) = g (b^{'} (θ))

$\theta = g(\mu) = g(b'(\theta))$ ,方差函数定义为

b^{″} (θ)

$b''(\theta)$ ，这在

μ

$\mu$ 变成

V (μ) = b^{″} (g (μ)) .

$V(\mu) = b''(g(\mu)).$ 通过身份的区分

θ = g (b^{'} (θ))

$\theta = g(b'(\theta))$ 我们得到

1 = g^{'} (b^{'} (θ)) b^{″} (θ) = g^{'} (μ) V (μ),

$1 = g'(b'(\theta)) b''(\theta) = g'(\mu) V(\mu),$ 它给出了典型链接函数和方差函数之间的一般关系。

在拟似然函数的构造中，很自然地从均值和方差之间的关系开始，根据方差函数给出 $V$ . 在这种情况下，反导数 $V(\mu)^{-1}$ 可以解释为链接函数的概括，例如，参见McCullagh 和 Nelder第 325 页（公式 9.3）上的（对数）拟似然的定义。

其它你可能感兴趣的问题