测量真实的互信息是不可能的，因为你需要知道真实的分布$P(X,Y)$这就是您首先要学习的内容。例如，您可以使用估计来代理真实的互信息，例如，Fisher 信息矩阵的对数行列式。

我不知道视频是如何制作的，但它似乎与 Tishby 等人的信息瓶颈理论有关。Tishby 使用他事先知道真实分布的合成数据集展示了这样的视频。您将在 Achille 和 Soatto 的论文中找到使用 Fisher 信息的理由。