人工智能 - 如何量化 AE 中解码器 NN 丢失的信息量？ - 吾爱随笔录

有没有办法量化自动编码器的有损部分中丢失的信息量，其中原始输入被压缩为自由度较小的表示？

我在想也许可以在图像或频域中以某种方式使用互信息。

I (X; Y) = \sum_{y \in Y} \sum_{x \in X} p_{(X, Y)} (x, y) \log (\frac{p_{(X, Y)} (x, y)}{p_{X} (x) p_{Y} (y)})

$\mathrm{I}(X ; Y)=\sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}} p_{(X, Y)}(x, y) \log \left(\frac{p_{(X, Y)}(x, y)}{p_{X}(x) p_{Y}(y)}\right)$

在哪里 $p_{(X,Y)}$ 是联合概率密度函数，它以某种方式从一组经验中推导出来 $N$ 输入和输出到网络。

也许这甚至不是一个有趣的问题，因为损失函数正是这样评估的？