Wald检验和似然比检验,回归系数的置信区间来自哪里?

机器算法验证 假设检验 物流 置信区间 回归系数 似然比
2022-03-23 14:48:21

因此,我正在尝试在机器学习管道中构建自己的 Wald 测试和似然比测试代码。我可以从 liblinear 获得最终拟合的逻辑回归系数。我在 MATLAB 中编码。

我将如何获得回归系数的方差以及回归系数的置信区间?显然,对于方差和置信区间,您需要多组系数的样本。但我认为在对数似然优化结束时你只会得到一组系数。

基本上试图在以下链接中复制结果 http://www.ats.ucla.edu/stat/mult_pkg/faq/general/nested_tests.htm

1个回答

当您拟合逻辑回归模型时,与线性回归不同,参数估计没有封闭形式的解决方案。因此,您可以在参数空间中搜索一组参数估计,以最大化对数似然或最小化偏差。(我通常更喜欢考虑偏差,但在这种情况下,考虑最大化对数似然可能会更好。)最常见的搜索过程是Newton-Raphson 算法

当您搜索时,您可以绘制出对数似然的形状,但这并没有真正完成。在运行 Newton-Raphson 算法的过程中,您计算​​ Hessian 矩阵(如果您运行不使用 Hessian 的搜索算法,应该不难得到)。这提供了您当前所在的参数空间区域中的形状图片。参数的 Wald 检验基于对数似然具有正态分布形状的假设(对于无限数据但可能不是小样本)。计算标准偏差的估计值,并将其用作标准误差。这通常用于形成 beta 的置信区间。

似然比检验的工作方式不同。似然比是对数似然之差。也就是说,当参数设置为两个不同的值时,模型的可能性之间的差异。基本上总是,这两个值是最大似然估计和空值 (0)。这两个值之间的差异应按卡方分布。使用这种方法来确定 beta 的置信区间不太常见,但可以做到。您需要搜索可能的 beta 估计值并向后工作以找到构成区间限制的值。

链接页面底部有一个非常有用的图(实际上取自 John Fox),对理解这个主题非常有帮助。