ANN、RNN 与逻辑回归和 CRF 有什么关系?

数据挖掘 神经网络 逻辑回归 朴素贝叶斯分类器 rnn
2021-09-16 07:16:32

这个问题是关于将神经网络的类别放在其他模型的角度。

在 Sutton 和 McCallum 的“An Introduction to Conditional Random Fields”中,呈现了下图:

在此处输入图像描述

它表明朴素贝叶斯和逻辑回归形成了生成/判别对,并且线性链 CRF 是逻辑回归到序列的自然延伸。

我的问题:是否有可能将这个数字扩展到包含(某些类型的)神经网络?例如,一个普通的前馈神经网络可以被视为具有激活函数的逻辑回归的多个堆叠层。那么我们可以说这个类中的线性链 CRF 是一种特定的循环神经网络(RNN)吗?

1个回答

不,这是不可能的。

这些图和神经网络之间存在根本区别,尽管两者都由圆圈和线/箭头表示。

这些图(概率图形模型,PGM)代表随机变量 X={X1,X2,..,Xn}(圆圈)及其统计相关性(线或箭头)。它们共同定义了联合分布的结构 PX(x); 即,PGM 因式分解PX(x). 提醒一下,每个数据点x=(x1,..,xn) 是一个样本 PX. 然而,神经网络表示计算单元(圆圈)和数据流(箭头)。例如,节点x1 连接到节点 y 有重量 w1 可能意味着 y=σ(w1x1+...). 他们一起定义了一个函数 f(x;W).

为了说明 PGM,假设随机变量 X1X2 是特征和 C是标签。一个数据点x=(x1,x2,c) 是分布的样本 PX. 朴素贝叶斯假设特征X1X2 给定标签在统计上是独立的 C, 因此因式分解 PX(x1,x2,c) 作为 P(x1|c)P(x2|c)P(c).

在某些情况下,神经网络和 PGM 可以变得相关,尽管不是通过它们的圆线表示。例如,神经网络可以用来逼近一些因素PX(x) 喜欢 PX(x1|c) 带功能 f(x1,c;W). 作为另一个例子,我们可以将神经网络的权重视为随机变量,并在权重上定义 PGM。