有几种方法可以在神经网络中进行独立假设。一是您的所有样本都是独立的，即如果您有一个包含 10,000 张猫图片的数据库，您假设它们都是彼此独立拍摄的。

另一个是如果你想回归某些值。假设你想从猫的照片中回归它的大小和重量。如果你只是最小化你对两个值的预测的平方和，你就会引入重量和大小是独立的假设——事实并非如此。

---

第一种情况可以从数学上看出，您的目标函数通常是项的总和，每个样本一个。 之后，总和只不过是对数域中的乘积。 这意味着数据样本因式分解——它们是独立的。独立性的定义：。

$$\mathcal{L}(\theta) = \sum_i \ell_i$$ $\log (a \cdot b) = \log a + \log b$ $$\mathcal{L}(\theta) = \log \prod_i \exp(\ell_i),$$ $p(a)p(b) = p(a, b) \Leftrightarrow \text{a is independend of b}$

对于第二种情况，请注意平方和是 Normal 的对数密度。如果你有一个很大的总和，这也意味着对许多正态分布的随机变量的乘积，因此意味着一个独立的假设。

不以数学为目标：使用 ANN 可以使用非独立和/或不均匀分布的变量。这样做可能会引发一些副作用，例如分布不均的变量具有过长的训练阶段，陷入（其他）局部最优（尽管这在应用案例中不是问题），或者没有获得最优错误从数学的角度来看，在最小化期间​​。但从技术上讲，对于 ANN 的输入变量来说，满足这些属性绝对不是硬性要求——ANN 也可以很好地处理这些属性。想想所有的深度学习方法，人们倾向于（或多或少地）输入他们掌握的任何信息，大多数情况下没有复杂的预处理。