深度学习模型通常是参数化的——事实上它们有大量的参数，一个用于训练期间调整的每个权重。

由于权重的数量通常保持不变，因此它们在技术上具有固定的自由度。然而，由于通常有很多参数，它们可能被视为模拟非参数。

高斯过程（例如）将每个观察值用作一个新的权重，并且随着点数趋于无穷大，权重的数量也是如此（不要与超参数混淆）。

我说一般是因为每种型号都有很多不同的口味。例如，低级别的 GP 具有由数据推断的有限数量的参数，我确信有人在某个研究小组中制作了某种类型的非参数 dnn！

从技术上讲，标准的深度神经网络 (DNN) 是参数化的，因为它具有固定数量的参数。然而，大多数 DNN 的参数太多，以至于它们可以被解释为非参数；已经证明，在无限宽度的限制下，深度神经网络可以看作是一个高斯过程（GP），它是一个非参数模型 [Lee et al., 2018]。

尽管如此，对于这个答案的其余部分，让我们将 DNN 严格解释为参数化。

参数化深度学习模型的一些示例是：

• 深度自回归网络 (DARN)
• Sigmoid 信念网络 (SBN)
• 循环神经网络 (RNN)、像素 CNN/RNN
• 变分自动编码器 (VAE)，其他深度潜在高斯模型，例如 DRAW

非参数深度学习模型的一些示例是：

• 深度高斯过程 (GP)
• 经常性全科医生
• 状态空间GP
• 分层狄利克雷过程
• 级联印度自助餐流程

图片来自Shakir Mohamed 的深度生成模型教程。

参考：

• “作为高斯过程的深度神经网络”（Lee 等人，2018 年）

深度学习模型不应被视为参数。参数模型被定义为基于关于生成数据的分布的先验假设的模型。深度网络不对数据生成过程做出假设，而是使用大量数据来学习将输入映射到输出的函数。根据任何合理的定义，深度学习都是非参数的。

Deutsch and Journel (1997, pp. 16-17) 认为“非参数”一词具有误导性。他们建议≪...应为基于指标的模型保留术语“参数丰富”模型，而不是传统但具有误导性的限定词“非参数”。≫

“参数丰富”可能是一个准确的描述，但“丰富”有一种情感负载，可以带来积极的看法，这可能并不总是有保证的（！）。

一些教授可能仍然坚持将神经网络、随机森林等统称为“非参数”。神经网络增加的不透明度和分段性质（特别是随着 ReLU 激活函数的传播）使它们成为非参数化的。