不同熵之间的区别

机器算法验证 自习 熵 信息论
2022-04-01 14:31:20

以下概念令人费解，必须做出建设性的解释。

（Q1）（a）Kolmogorov-Sinai 熵、（b）香农熵、（c）源熵（d）拓扑熵和（e）玻尔兹曼熵之间的概念区别是什么？

(Q2) 不同熵之间的关系是什么？

（Q3）它们可以互换并且意思相同吗？

（Q4）我在哪里可以找到关于 Kolmogorov 熵的清晰解释以及为什么需要它及其意义？

(Q5) 玻尔兹曼熵可以等于柯尔莫哥洛夫熵吗？

1个回答

香农熵是任何概率分布的熵的一般概念。根据你选择的概率，你会得到不同的东西。

尤其是：

关于熵，我并不深入：

  • Kolmogorov-Sinai Entropy，（据我所知）是从熵中导出的一个特定量，与动态系统的混沌行为有关（它也发生在相空间中）；如您所见，它的公式涉及与轨迹相关的特定集合的香农熵，但还涉及其他操作
  • 拓扑熵是一个相关的概念
其它你可能感兴趣的问题
上一篇使用 R 随时间绘制分布的好方法是什么？ 下一篇用于分类的 MLP 与用于回归的 MLP 如何以及为什么会有所不同？不同的反向传播和传递函数？