我正在寻找计算神经网络中包含的信息。我还希望计算任何神经网络以一定数量的位数包含的最大信息。这两个度量值应该是可比较的（因为我可以比较我当前的神经网络是达到最大值还是小于最大值以及达到了多少）。

信息是相对的，因此我将其定义为相对于神经网络试图估计的数据的真实先验分布。

我遇到了可以应用于矩阵的冯诺依曼熵，但是因为它不是加法的，所以我不能将它应用于一系列权重矩阵（假设权重矩阵编码了神经网络的所有信息）。

我发现了另外三篇论文Entropy-Constrained raining of Deep Neural Networks、Entropy and inter information in models of deep neural networks和Deep Learning and the Information Bottleneck Principle。第二个包含指向 此github 存储库的链接，但此方法需要知道激活函数和权重矩阵，这不是在 n 位中找到任何神经网络的最大熵的情况。

如何计算神经网络中包含的信息量/熵？以及如何为任何 n 位神经网络计算相同的度量？