我知道Kullback-Leibler 散度和Kolmogorov-Smirnov 检验是不同的，应该在不同的场景中使用。但是它们在很多方面都很相似，并且给定两个分布，我们可以在 KS 检验下根据比特和 p 值计算它们的 KL 散度（还有其他指标，如Jensen-Shannon 散度和许多其他假设检验方法。但是让我们这里只谈KL散度和KS检验。）
我的问题是：在什么情况下，KS 检验会提供一个非常小的 p 值，但 KL 散度会给我们一个非常小的距离？它背后的直觉是什么？如果能有具体的例子就更好了。
暂时搁置 Kullback-Leibler 散度并考虑以下问题：Kolmogorov-Smirnov p 值很可能很小并且相应的Kolomogorov-Smirnov距离很可能很小。
具体来说，大样本量很容易发生这种情况，即使是很小的差异仍然比我们期望从随机变化中看到的要大。
当考虑一些其他合适的散度度量并将其与 Kolmogorov-Smirnov p 值进行比较时，同样会自然而然地发生 - 它很自然地会在大样本量下发生。
[如果您不希望将 Kolmogorov-Smirnov 距离和 p 值之间的区别与两者所查看内容的差异混淆，那么探索这两种度量的差异可能会更好（和) 直接，但这不是这里要问的。]