Kolmogorov-Sinai熵,香农熵和玻尔兹曼熵之间的概念区别是什么?它们可以互换并且意思相同吗?我在哪里可以找到关于 Kolmogorov 熵以及为什么需要它及其意义的清晰解释。谢谢你。
熵的概念定义
信息处理
信息论
2022-02-12 05:18:23
2个回答
让我给你一个快速的答案,重点是你可以改进的方法和自己研究更深入的知识。
1 - Kolmogorov 和 Shannon Entropies 与信息量度相关,并且彼此密切相关。(有关更多信息,请参阅 Kolmogorov 复杂性的维基百科页面。)
2 - 玻尔兹曼熵是一个较老的概念,是与热力学理论完全不同且不相关的概念。(再次,维基百科......)
3 - kolomogorov 熵的正式定义在公式中使用了香农熵。
如果您对信息熵概念感兴趣,我建议您阅读 Cover &Thomas 的书,其中有一整章介绍了 Kolmogorov 复杂性。
玻尔兹曼熵显示了不确定性,热力学系统的宏观状态描述了它可能的微观状态。除了应用于热力学系统(以及乘以物理常数)之外,玻尔兹曼熵(或者更具体地说,它的概括,即吉布斯熵)与香农熵完全一样。它们具有相似的形式和几乎相同的含义。据我所知,香农甚至从玻尔兹曼的 H 定理中将“H”作为他的熵。
Kolmogorov熵...如果您的意思是Kolmogorov-Sinai熵而不是动态系统的熵。它与玻尔兹曼和香农熵具有相同的性质,但适用于特定领域。
然而,Kolmogorov 复杂度,也是信息量的衡量标准,在概念上是非常不同的。虽然香农熵是基于对数据源的随机模型的了解而引入的,但 Kolmogorov 复杂性并不认为该知识意味着人们应该考虑模型的复杂性以获得适当的信息度量。
在香农理论中,信息的概念来源于概率的概念。同时,在柯尔莫哥洛夫理论中,则采取了相反的方式——概率的概念来源于信息的概念,信息的概念是在通用图灵机的基础上引入的。这导致了非常深刻的方法论差异,例如机器学习。
其它你可能感兴趣的问题