我将尝试解决问题 1 和 4。

1) 熵——希望系统的熵最大化。最大化熵意味着没有符号比其他符号更好，或者我们不知道下一个符号/结果会是什么。但是，该公式在概率对数的总和之前声明了一个负号。因此，这意味着我们正在最大化负值！！

不，对数本身的值是负的，所以负号使它们为正。所有概率都是从 0 到 1 的实数，包括 0 到 1。1 的对数为零，任何小于 1 的对数都是负数。这可能看起来有问题，因为 0 的对数是，但我们确实试图最大化这些对数的期望值，所以当我们乘以概率本身时，整个值接近 0，而不是。当概率为时，熵达到峰值。$-\infty$$\infty$$1/2$

那么，为什么我们要最大化熵，因为这意味着我们正在最大化下一个符号的不确定性，而我们想要确定符号的下一个出现是什么。

不，在交流信息时，我们绝对不想确定下一个符号是什么。如果我们确定，通过接收它可以获得什么信息？没有。只有通过不确定发射器将发送什么，我们才能接收到任何信息。

4) 两个向量之间的互信息传递什么信息？

当两个向量之间存在互信息时，知道一个向量会告诉你另一个向量。在数学上，这等同于以下知识：一个向量的知识会影响另一个向量的概率。如果他们是独立的，情况就不会如此。

互信息的一个例子是数字对讲机。一个向量是第一个对讲机发送的比特流。第二个向量是第二个对讲机接收到的信号。这两者显然是相关的，但是由于噪声和未知的信道条件，第二个对讲机无法确定第一个对讲机发送了什么。它可以根据信号做出一些非常好的猜测，但它不能确定。