神经网络是混合模型吗?

机器算法验证 神经网络 高斯混合分布 有限混合模型
2022-04-17 04:11:06

据我了解,高斯混合模型是一组参数化的高斯分布,它们共同描述了一个完整的聚合分布。 ^ 来自McGonagle 等人
高斯混合 gif

同样据我了解,在具有 1 个隐藏层的神经网络分类器中,您有混合函数(sigmoids、relus 等),这些函数被聚合成一个函数,为属于给定类的事物(汽车、平面等) ^ 具有 5 个 sigmoid 隐藏节点的神经网络
神经网络.gif

所以我的问题是:神经网络是否属于混合模型的一般领域?

如果是这样,为什么他们从来没有这样称呼过?

如果没有,怎么会?

是不是因为它们本身不使用概率分布(即使 sigmoid 看起来很像高斯的累积密度函数)

只是好奇; 感谢您的建议

1个回答

它们都属于图形模型的一般领域。

正如您所指出的,它们彼此非常相似,因为它们都有隐藏层,并且都需要迭代方法来执行推理任务。

但它们是根据不同的初始想法提出的。“神经网络”最初是由联结主义者提出的,现在在机器学习界非常活跃,而“混合模型”,或者更一般的“潜变量模型”,是统计学界经典模型的一个范畴。

神经网络(在机器学习中)主要关注最小化预测误差,只要预测误差最小化,你如何解释数学方程,或者你在模型中使用了多少隐藏层/节点都没有关系另一方面,混合模型(在统计学中)主要关注最大化边际似然,每个隐藏层和节点都很重要,因为每个隐藏节点或层都必须有相应的现实世界解释。

初始目的的差异导致数学方程和术语的一些细微差异。例如,神经网络中的“激活函数”与混合模型中的“条件概率分布函数”所起的作用相同。

现在有一种趋势是将不同社区中的术语与图形模型语言统一起来。比如从图模型的角度来看,无论是“激活函数”还是“条件概率分布函数”,都称为“因子”