这是给你的数学答案。

神经网络是一个近似函数$f(\theta)$联合分布的$p(X, Y)$输入数据$X$和标签$Y$. 学习过程是调整参数的过程$\theta$使$f$尽可能接近$p$

^{旁注：通常$f$被认为是近似的条件$p(Y|X)$，但可以更普遍地查看。}

因此，在这个术语中，异常值是值$(x, y)$ 明显不在分布范围内 $p(X, Y)$. 因此，神经网络无法解释它们，这必须单独完成。一种可能性是收集更多数据以使这些异常值看起来很普通，即来自$p(X, Y)$.

至于过拟合，它是完全不同的术语，它与无法泛化有关。发生这种情况是因为在实践中真实分布$p(X, Y)$永远不会被完全知道。相反，研究有它的样本——$(\hat{X}, \hat{Y})$，也就是训练数据。如果维数$\theta$ 很大， $f$ 可以近似 $p(\hat{X}, \hat{Y})$ 非常好，以至于它实际上学习了噪音并且无法捕捉到 $p(X, Y)$. 处理过拟合是有办法的，最重要的是正则化，相当于加了噪声$(\hat{X}, \hat{Y})$. 所以这个问题的答案是：它可以通过使用特殊的技术来解释它。但是如果研究人员什么都不做，神经网络就不会学会自己处理过拟合。