RBM 的持续对比差异

机器算法验证 机器学习 神经网络 受限玻尔兹曼机
2022-03-17 07:42:32

当为受限玻尔兹曼机使用持久 CD 学习算法时,我们在第一次迭代中从数据点开始我们的 Gibbs 采样链,但与普通 CD 不同的是,在接下来的迭代中,我们不会从我们的链开始。相反,我们从上一次迭代中的 Gibbs 采样链结束的地方开始。

在正常的 CD 算法中,每次迭代都会评估一小批数据点,并从这些数据点本身开始计算 Gibbs 采样链。

在持久 CD 中,我们是否应该为每个数据点保留 ​​Gibbs 采样链?还是我们应该保留一小批 Gibbs 采样链,它从当前迭代中当前未评估的数据点开始?

在我看来,为每个数据点保留 ​​Gibbs 采样链太麻烦了,但另一方面,将当前样本的信号与不是从当前开始的长 Gibbs 链之后的信号进行比较似乎是不够的样品

1个回答

可以在此处找到描述此内容的原始论文

在 4.4 节中,他们讨论了算法的实现方式。他们最初发现的最佳实现是不重置任何马尔可夫链,为每个梯度估计对每个马尔可夫链进行一次完整的 Gibbs 更新,并使用数量等于训练数据点数量的马尔可夫链。批。

第 3 节可能会让您对 PCD 背后的关键思想有一些直觉。