KL 散度返回无穷大

数据挖掘 Python scikit-学习
2021-10-03 11:51:33

给定一个原始概率分布P ,我想测量一个近似值Q与初始分布有多大不同。为此,我通过 计算 KL 散度scipy.stats.entropy,由于差异很大,它返回无穷大。然而,随着时间的推移,近似值变得更好,我仍然想量化两组之间的差异。

问题是,是否有任何技巧可以避免inf值,或者我应该通过使用其他距离度量来规避这种行为?

1个回答

无穷大是由于除以零。只需用非常小的值替换任何零值。这个问题很常见,搜索一下就会发现很多类似的问题。请记住,kl 不是指标