比直方图建模的卡方“更好”的拟合优度测试?

机器算法验证 假设检验 卡方检验 模型选择 泊松分布 配件
2022-03-18 14:26:47

我处理来自产生数十亿计数直方图的质谱仪的数据,我需要一种很好的方法来测试这些直方图是否与一个或多个模型分布(高斯、重尾、多峰等)一致。异常值可能存在于大部分直方图中,如果不是全部的话。直方图可能有 0 到 10^6 的计数,并且它们已经离散化,因此直方图不会丢失与原始观察相关的任何信息。

作为一个受过物理学家培训的天真万事通的数据分析师,我的直觉是做以下事情:

对于每个模型分布,

  • 使用矩估计其参数或使用泊松似然进行非线性拟合(因为这是计数数据,每个 bin 都是泊松随机变量)
  • 计算数据的与拟合分布χ2

然后,使用手头几个模型的卡方值......

  • 选择具有最佳值的模型χ2
  • 如果太大(参考具有适当自由度χ2χ2

我很好奇是否更有经验的统计学家可以就这个程序是否有意义、我可能遇到的限制、更好的替代方案等向我提供建议。以下是我想知道的几件事:

  • 对于计数很少的直方图,我觉得在拟合优度指标中使用泊松似然 / Kullback-Leibler 散度而不是在检验统计量中使用的平方和更有意义。用在试衣间最合适,为什么不在测试中呢?但我不知道有什么常用的测试可以这样工作。我四处搜索泊松直方图拟合优度测试,但一无所获。χ2
  • 我有一种模糊的感觉,我应该使用一些 AIC 类型的东西来解释分布中的参数数量,但也许这已经进入了自由度。χ2
2个回答

经过一番谷歌搜索后,我将冒险回答我自己的问题。一种简单的方法是使用分级泊松最大似然比。见第 本页第 94-96 条:

http://www.hep.phy.cam.ac.uk/~thomson/lectures/statistics/FittingHandout.pdf

似然比在大计数限制中收敛到分布,如果您处理的计数非常少,您应该进行 MC 模拟以确定在假设您的直方图确实存在的情况下似然比的经验分布表示来自模型分布的样本集合。您可以从这个模拟的似然比分布中确定一个检验只是代表了一个快速的分析近似值,它适用于大计数限制。χ2pχ2

所有这一切无非是遵循频率统计的“永恒哲学”:

  1. 如果你认为发生了一些有趣的事情,你应该在向世界宣布它很有趣之前,找出你期望这件事偶然发生的频率。

  2. 如果值表明随机效应几乎肯定不会导致您的模型与观察结果之间的差异,那么您的模型可能是错误的。p

χ^2 是一个很好的测试,特别是因为χ^2 是 KL 散度的易于计算的近似值。G-Test对 χ^2 检验进行了改进,它直接使用 KL 散度(或等效地,似然比)。G 检验更难手动计算,因为它涉及对数而不是平方根,但对于计算机,这真的不再重要了。

但是,G 检验(和 χ^2 检验)用于检验对预先指定模型的拟合优度并确定您是否可以拒绝它。这两种测试都不是为模型比较而设计的,即从一组候选模型中挑选最佳模型的任务。虽然您可以尝试使用 G 检验来比较两个模型,但正如您正确指出的那样,AIC 会更好地完成这项工作。

如果您不再选择模型,而是考虑贝叶斯模型平均或模型堆叠,您可以做出更大的改进。但是,这些可能会变得更加复杂。