广义线性模型的几何解释

机器算法验证 回归 模型 几何学
2022-03-14 10:11:28

对于线性模型,我们可以通过 OLS 对估计模型进行很好的几何解释:是 y 在 x 所跨越的空间上的投影,残差垂直于 x 所跨越的这个空间。y=xβ+ey^=xβ^+e^y^e^

现在,我的问题是:广义线性模型(逻辑回归、泊松、生存)是否有任何几何解释?我很好奇如何以与线性模型类似的方式从几何它甚至没有错误术语。 p^=logistic(xβ^)

我发现了一篇关于广义线性模型的几何解释的讨论。http://statweb.stanford.edu/~lpekelis/talks/13_obs_studies.html#(7)不幸的是,这些数字不可用,而且很难想象。

任何帮助、参考和建议将不胜感激!!!

1个回答

我认为你最好的选择是梅西大学罗东文的论文,关于广义线性模型的几何在此处在线获取。特别是你想专注于章节。3 - GLM 的几何结构(在第 3.4 节中更具体)。他使用了两个不同的“几何域”;一个在规范链接转换之前和一个之后。一些基本的理论机制源于 Fienberg 在The Geometry of an r × c Contingency Table的工作。正如罗的论文所倡导的:

对于大小为的样本,分裂为充分空间和辅助空间的正交直接和。均值的 MLE位于充分仿射平面和未变换模型空间的交点。链接变换的平均向量位于变换的平均空间中。nRnSAμ^T=s+AMRg(μ^)g(MR)

显然都需要至少是 2-D 并且在这个理论框架下,和数据向量在充足空间的任何方向上都有相同的投影。SARn=SAμ^y

假设你有微分几何知识,Kass 和 Vos Geometrical Foundations of Asymptotic Inference一书应该为这个问题提供了坚实的基础。这篇关于渐近推理几何的论文可从作者的网站免费获得。

最后,回答您的问题是否存在“广义线性模型(逻辑回归、泊松、生存)的任何几何解释”。是的,有一个;并取决于使用的链接功能。观察本身被视为链接变换空间中的向量。不用说,随着样本量和/或设计矩阵列数的增加,您将看到更高维的流形。