机器算法验证 - Kolmogorov Smirnov 与视觉数据冲突 - 吾爱随笔录

机器算法验证非参数 kolmogorov-smirnov 测试

2022-03-30 18:33:46

我记录了 197 次护理事件的长度。我的标准化数据 $(x-\mu)/\sigma$ 看起来像这样：

在此处输入图像描述

Kolmogorov-Smirnov 给我的 p 值为 0.14。不能肯定是对的吗？！我是否误解了我的结果？

1个回答

我认为您的问题现在已经足够澄清，可以构建一个体面的答案（有大量链接解释这些问题）。

这里有几个问题：

1. 带有估计参数的 KS 检验

样本均值和 sd ( $\bar{x}$ 和 $s$ ) 不是总体参数 ( $\mu$ 和 $\sigma$ ）。

Kolmogorov-Smirnov 检验的零分布（/临界值）的计算基于完全指定的分布，而不是估计的分布——如果使用参数估计，p 值没有意义。特别是，如果得出测试的条件成立，p 值往往会大于您得到的值。

当您要估计参数时，Kolmogorov-Smirnov 类型的测试称为Lilliefors测试，它有不同的表。

因此，如果您想对正态性进行 KS 样式但具有估计的均值和标准差，则 Lilliefors 是正确的测试。无需获取原始论文即可使用此测试 - 您可以模拟零分布（并且比 Lilliefors 在 1960 年代能够做到的准确度要高得多）。

虽然如果测试正态性是目标，Shapiro-Wilk 或 Shapiro-Francia 测试更典型并且具有更好的功效；Anderson-Darling 测试也很常见（参数估计也是 AD 测试的一个问题，但请查看 D'Agostino 和 Stephens 的拟合优度技术中对该问题的讨论）。

但是，用您的 p 值确定问题并不意味着拟合优度检验可以解决您的原始问题。

2. 对假设它的程序使用正态性假设检验

您认为在处理类似 ANOVA 的情况时，适当的措施是通过某种拟合优度测试正式测试正态性，并且只有在拒绝时才考虑非参数测试。我会说这通常不是一个适当的理解。

首先，假设检验回答了错误的问题；确实，拒绝可以回答您已经知道答案的问题。

如果一个人正在考虑使用依赖于它的程序，那么对正常性进行一些评估是否合理？当然; 视觉评估 - 诊断，例如 QQ 图 - 向您展示您的数据出现的非正态性，并让您了解您所拥有的非正态性的程度和类型是否足以让您关注您将要执行的特定程序正在申请。

在这种情况下，您的直方图足以说明“不要假设这是正常的”，尽管通常我不会仅根据直方图做出这样的决定

其次，您可以在不测试正态性的情况下进行 Kruskal-Wallis。当数据正常时它是有效的，它只是比通常的 ANOVA 稍微弱一些。

只有 ANOVA 对轻度非正态性相当稳健这一事实才使其在许多情况下成为合理的选择。如果我预计超过中等偏度或峰度，我会避免假设正常（尽管 Kruskal-Wallis 不是唯一的选择）。

Khan 和 Rayner (2003)，对多样
本位置问题的常见测试的非正态性鲁棒性，
应用数学与决策科学杂志，7(4)，187-206

建议在高峰度的情况下 - 当样本量不是很小时 - Kruskal Wallis 绝对优于 F 检验*（当样本量较小时，他们建议避免使用 Kruskal-Wallis）

*（当有两个样本时，注释适用于 Mann-Whitney vs t 检验）

你当然不需要证明申请 Kruskal-Wallis 的东西是不正常的。

Kruskal Wallis 还有其他不假设正态性的替代方法，例如基于重采样的测试（随机化测试、引导测试）和稳健版本的 ANOVA 类型测试。

另见：

3. ANOVA 的假设

ANOVA 不假设整个数字集都是正常的。也就是说，无条件正态性不是方差分析的假设 - 只有条件正态性。

也就是说，您无法真正评估原始数据的方差分析假设；你评估它的残差。

还：

其它你可能感兴趣的问题