在他的一次演讲中，Geoff Hinton 解释说 sigmoid 信念网络的一个大问题是解释消失现象。我没有完全理解这一点。我看到表示变量消除的图形的诱导宽度可能会由于在 V 结构处引入填充边缘而增加。但是，是否有一种更基于直觉的方式来看待这一点，而不是诉诸诱导图的严谨性？
考虑一个简单的例子，其中 RV 是：是否发生了地震、是否发生了入室盗窃以及是否触发了警报。该图是一个V形结构，以地震和盗窃为父母，警报为孩子。如果一个人试图推理真正的或，这种 V 结构的关系会造成什么样的困难？
解释为什么会导致学习问题？
机器算法验证
机器学习
图形模型
贝叶斯网络
2022-04-07 12:24:11
1个回答
我可以从这样的“V 结构”中看到的唯一问题是您有两个“原因”——这意味着可能难以解开每个“父级”的影响。就您的示例而言，您可能同时观察到“地震”和“入室盗窃”（同时“开”或“关”）。所以你会得到一个很好的估计值但不是边际效应。这相当于线性回归中的多重共线性。如果您使用向量（e 表示地震等）并假设二项式模型，则第 i 个数据点的概率为。然后
如果你只一起观察它们或，那么两个概率都是。这意味着数据无助于选择要保留的变量。