当前的统计学习理论将学习算法视为“黑匣子”，分析其输入与输出。此外，它通常因缺乏非空界而受到批评（尽管 Diziugaite 和 Roy 证明了非空界）。

信息瓶颈理论为学习问题带来了信息理论的视角，使我们能够使用信息度量来分析培训期间发生的事情。当你这样做时，IBT 会预测训练的两个不同阶段之间的相变（拟合阶段，模型快速拟合数据；压缩阶段，模型忘记数据集的无关信息，试图避免过度拟合）。

正如 Tishby 本人所承认的那样，这并不是一个经过验证的严谨理论（请参阅 DeepMath 2020 会议中的视频），这种缺乏严谨性引起了很多批评（请参阅 Saxe 等人的“On the IBT”。他们并不是唯一受到批评的人） ）。Stefano Soatto 和 Alessandro Achille 在他们位于加利福尼亚的研究小组中采用了一种可以被视为 IBT 领域的更严格的方法（参见深度表示中不变性的出现和解开）。

尽管如此，它仍然是一个建立严谨性的“新兴领域”。IBT 的有趣之处在于它为训练期间发生的事情赋予了新的意义（叙述）。在这个叙述中，不存在泛化悖论（参见 Zhang,Bengio 等人“理解……重新思考泛化”），因为重要的不是模型的参数数量，而是它所拥有的关于模型的信息量。训练数据集。