Mixture Density Network:确定每个高斯分量的参数

数据挖掘 机器学习 神经网络 统计数据 高斯
2022-03-01 06:24:03

我正在阅读 Bishop 的混合密度网络论文: https ://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/bishop-ncrg-94-004.pdf

这是一篇好论文,但我仍然对一些小细节感到困惑。我想知道是否有人可以给我一些帮助:

  1. 基本上,混合系数 alpha_i 可以通过下面等式 (25) 中的 softmax 函数来计算。然而,在 eq (25) 中,每个的上 alpha 值是多少(zi)alpha? 它是要拟合的自由参数吗?

  2. 同样,在 eq (26) 中,上 sigma 是什么(zi)sigma? 它是否也是要安装的免费参数?谢谢!

在此处输入图像描述

在此处输入图像描述

1个回答

实际上,upper alpha 和upper sigma 并不是可以自由设置的参数,它们只是用来分别表示混合系数和方差对应的输出激活值。它们用于区分关于 alpha 和 sigma 的导数。我从 Christopher Bishop 的“模式识别和机器学习”一书的第 275 页说:

Christopher Bishop 的“模式识别和机器学习”一书的第 275 页”