神经网络、贝叶斯网络、决策树和Petri网之间有什么区别,尽管它们都是图形模型并且直观地描绘了因果关系。
贝叶斯网络、神经网络、决策树和 Petri 网之间的区别
哇,好大的问题!答案的简短版本是,仅仅因为您可以使用图表上相似的视觉表示来表示两个模型,并不意味着它们在结构、功能或哲学上甚至远程相关。我不熟悉 FCM 或 NF,但我可以和其他人谈谈。
贝叶斯网络
在贝叶斯网络中,图形表示模型中不同变量的条件依赖关系。每个节点代表一个变量,每个有向边代表一个条件关系。本质上,图形模型是链式法则的可视化。
神经网络
在神经网络中,每个节点都是一个模拟的“神经元”。神经元本质上是开或关的,它的激活由网络前“层”中每个输出值的线性组合决定。
决策树
假设我们正在使用决策树进行分类。这棵树本质上为我们提供了一个流程图,描述了我们应该如何对观察进行分类。我们从树的根开始,最终的叶子决定了我们预测的分类。
正如你所看到的,这三个模型除了可以用方框和箭头表示之外,实际上基本上没有任何关系。
很容易证明(参见 Daphne Koller 的课程)逻辑回归是条件随机场的受限版本,它是无向图模型,而贝叶斯网络是有向图模型。然后,逻辑回归也可以被视为单层感知器。这是我认为可以在贝叶斯网络和神经网络之间绘制的唯一链接(非常松散)。
我还没有找到您询问的其他概念之间的联系。
首先,我们试图说明这些方法试图解决的问题的性质。如果一个问题是简单的、多项式或 NP 完全问题,我们已经准备好通过简单地按照逻辑规则重新组合公理来插入可以提供确定性答案的算法。但是,如果不是这种情况,我们将不得不依赖一种推理方法,其中,我们尝试将问题视为异构问题并将其插入网络,节点是评估,边缘是组件之间的路径.
在任何一种基于网络的推理中,我们都不是通过使用抽象的概括和组合,根据线性流中的逻辑规则进行演绎推理,而是根据推理在不同方向上的传播来解决问题,从而解决一次一个节点的问题,对于未来发现有关任何节点的新事实的改进是开放的。现在让我们看看这些技术中的每一种是如何以自己的方式解决问题的。
神经网络: 神经网络是一个黑盒子,它被认为(永远无法从系统外部验证)简单节点之间的连接是通过重复的外部强化形成和强调的。它以Connectionsitic范式解决问题。问题可能已经解决,但几乎没有可解释性。如果忽略可解释性的问题,神经网络现在被广泛使用,因为它能够产生快速的结果。
贝叶斯网络: 贝叶斯网络是一个有向无环图,它更像流程图,只是流程图可以有循环循环。与流程图不同的贝叶斯网络可以有多个起点。它基本上跟踪事件在多个模棱两可的点上的传播,其中事件在路径之间以概率方式发散。显然,在网络中的任何给定点,该节点被访问的概率取决于前面节点的联合概率。贝叶斯网络与神经网络的不同之处在于它是显式推理,即使是概率性的,因此可以基于在合法值内重新访问和修改的每个步骤具有多个稳定状态,就像算法一样。这是一种进行概率推理的稳健方法,但它涉及概率编码,
决策树: 决策树又是一个网络,更像是一个流程图,比神经网络更接近贝叶斯网络。每个节点都比神经网络更智能,分支可以通过数学或概率评估来决定。决策是基于可能事件的频率分布的直接评估,其中决策是概率性的。然而,在贝叶斯网络中,决策是基于指向事件发生的“证据”的分布,而不是对事件本身的直接观察。
一个例子 例如,如果我们要预测一只食人虎在喜马拉雅山村庄的运动,而这些村庄恰好位于老虎保护区的边缘,我们可以使用以下任一方法对其进行建模:
在决策树中,我们将依赖专家估计是老虎会在开阔的田野之间做出选择,还是河流会选择后者。在贝叶斯网络中,我们通过哈巴狗标记追踪老虎,但推理的方式承认这些哈巴狗标记可能是其他一些类似大小的老虎经常在其领土上巡逻的标记。如果我们要使用神经网络,我们将不得不反复使用老虎的各种行为特性来训练模型,例如它喜欢游泳、喜欢覆盖区域而不是开放区域、避免人类居住,以便让网络对老虎可能采取的路线进行一般性推理。
@David Marx 的出色回答。我一直在想,分类/回归树和贝叶斯网络之间有什么区别。一个基于熵将结果分类为基于不同预测变量的类,另一个使用条件独立性和概率参数估计构建图形网络。
我觉得构建贝叶斯网络的方法与回归/决策树相比是不同的。结构学习的算法、使用模型的目标以及模型的推理能力是不同的。
基于分数和基于约束的方法可以通过与决策树族中的信息增益标准绘制的一些相似性来理解。