Cover 和 Thomas 的书Elements of Information Theory是关于熵及其应用的一个很好的资源，尽管我不知道它是否能准确解决您心中的问题。

这些O. Johnson 的信息论讲义很好地介绍了不同种类的熵。

如果你对熵相关的数理统计感兴趣，可以参考本书

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

它是免费的！

Grünwald 和 Dawid 的论文博弈论、最大熵、最小差异和鲁棒贝叶斯决策理论讨论了传统熵概念的推广。给定一个损失，其相关的熵函数是从一个分布到该分布的最小可实现预期损失的映射。通常的熵函数是与对数损失相关的广义熵。其他损失选择会产生不同的熵，例如 Rényi 熵。