我一直在使用的关于该主题的自学参考资料是模型选择和多模型推理： Kenneth Burnham 的实用信息理论方法。简而言之，假设检验将根据手头数据（假设来自某个分布，通常是高斯分布）计算或或来确定假设的真实性，例如。$T$$t_{crit}$$F_{crit}$$\chi^2_{crit}$$\mu=0$

另一方面，熵（更好地说，相对熵）是对假设模型（可以是高斯、卡方等）和真实的生成模型（即自然）之间的预期 Kullback-Leibler 距离的估计，表示为由伯纳姆简单地作为。估计距离是什么意思？和完整现实（自然）之间的相对熵（也就是预期的 KL 距离）很大，那么通过使用您的候选模型来尝试代表现实，您已经丢失了信息（以比特为单位）。没有在信息论方法中测试的假设，只有（与）真相的距离才能被发现。$f$$g$

统计中最常用于测量此距离的量是 AIC。AIC教科书中的一句话：

因此，不是对两个模型之间的有向距离（即 KL 距离）进行简单测量，而是对拟合模型与实际的未知真实机制（可能是无限维）之间的预期相对距离进行估计。生成观测数据。（第 61 页）

要测试两个熵值之间差异的显着性，请计算最大可能熵 Log2N，然后取与实际熵的比率。比例的 Z 检验是一种适当的检验。