从某种意义上说，神经网络是一个黑盒子，虽然它可以逼近任何函数，但研究它的结构不会让你对被逼近的函数的结构有任何见解。

例如，神经网络在银行业务中的一种常见用途是将贷款人分类为“好付款人”和“坏付款人”。您有一个输入特征矩阵（性别、年龄、收入等）和一个结果向量（“默认”、“未默认”等）。当您使用神经网络对此进行建模时，您假设存在一个函数，在数学函数的正确意义上。这个函数f可以任意复杂，并且可能随着业务的发展而变化，所以不能手工推导出来。$C$$R$$f(C)=R$

然后，您使用神经网络构建的近似值，该近似值具有您的应用程序可以接受的错误率。这是可行的，并且精度可以任意小——您可以扩展网络，微调其训练参数并获取更多数据，直到精度达到您的目标。$f$

黑匣子问题是：神经网络给出的近似值不会让你对 f 的形式有任何了解。权重和被逼近的函数之间没有简单的联系。甚至分析哪个输入特征无关紧要也是一个悬而未决的问题（请参阅此链接）。

另外，从传统的统计学观点来看，神经网络是一种不可识别的模型：给定一个数据集和网络拓扑，可以有两个权重不同但结果完全相同的神经网络。这使得分析非常困难。

作为“非黑盒模型”或“可解释模型”的示例，您有回归方程和决策树。第一个为您提供 f 的封闭形式近似，其中每个元素的重要性是明确的，第二个是一些相对风险\优势比的图形描述。

谷歌发布了 Inception-v3。它是用于图像分类算法（区分猫和狗）的神经网络 (NN)。

在论文中，他们讨论了图像分类的当前状态

例如，GoogleNet 仅使用了 500 万个参数，与使用 6000 万个参数的前身 AlexNet 相比减少了 12 倍。此外，VGGNet 使用的参数比 AlexNet 多 3 倍

这就是为什么我们将 NN 称为黑盒的原因。如果我训练一个图像分类模型——有 1000 万个参数——然后交给你。你能用它做什么？

您当然可以运行它并对图像进行分类。它会很好用！但是你不能通过研究所有的权重、偏差和网络结构来回答以下任何问题。

• 这个网络可以区分哈士奇和贵宾犬吗？
• 对于算法，哪些对象易于分类，哪些对象难以分类？
• 狗的哪个部位对正确分类最重要？尾巴还是脚？
• 如果我用 Photoshop 将猫头放在狗身上，会发生什么，为什么？

您也许可以通过运行 NN 并查看结果（黑框）来回答问题，但您并没有改变理解为什么它在边缘情况下的行为方式。