神经网络输出可以代表后验概率吗?

机器算法验证 神经网络 可能性 火车
2022-04-03 06:39:08

我似乎记得几年前当我第一次阅读 Bishop 的 ANN 书时,可以构建一个神经网络,使得输出应该代表我使用似然法分离相同数据时会发现的后验概率。这是真的还是我已经在心里做了这个?如果条件是真的,我似乎记得它必须没有循环并且对隐藏层的数量有限制。尽管我似乎还记得 Komogorov 的结果表明,如果网络训练有素,许多隐藏层并没有帮助。不幸的是,我再也找不到这本书了,而且我似乎在这个结果上找不到太多东西,这让我担心是我自己。

我想我可能需要像@bayerj 指出的那样充实我的问题

我有几个变量(我假设我现在只有一个),我用它们来找出三个假设中的一个在给定三个变量的情况下为真的概率。我有一些可以构建 PDF 的数据。我在用

P(Hk|x)=P(x|Hk)P(Hk)P(x)

其中 P(x) 是无条件概率密度

P(x)=P(X|Hk)P(Hk)

我正在尝试验证是否可以使用构建我的 PDF 的数据来训练网络,使得输出节点的值等于 P(H_k|x)。我确定这是可能的,我只是不记得工作了。自从我发布问题以来,我发现 http://www-vis.lbl.gov/~romano/mlgroup/papers/neural-networks-survey.pdf 我认为这是在说我想做的事情是可能的。

1个回答

可以将神经网络的输出视为后验概率估计的条件相当广泛,我记得下面的论文非常有趣且内容丰富(警告:但自 2002 年以来我就没有读过它)

Marco Saerens、Patrice Latinne、Christine Decaestecker:任何合理的成本函数都可以用于后验概率近似。IEEE 神经网络汇刊 13(5): 1204-1210 (2002)

我怀疑它也引用了文本中的经典论文。Saerens 教授写了几篇非常好的论文;我建议任何对神经网络非常感兴趣的人在 Google 学者等中查找他的论文。

您可以将神经网络的输出层视为逻辑回归模型(输出表示概率),将隐藏层视为输入的非线性变换。输出层对输出的解释很重要,因此 MLP 本质上只是一个非线性逻辑回归模型。