谁能给我关于超参数的意思的完整细节,以及在狄利克雷分布中什么被称为超参数?估计这些参数的实践示例也将是有用的。
我们所说的超参数是什么意思?
机器算法验证
贝叶斯
术语
定义
超参数
2022-03-13 00:15:53
1个回答
我怀疑超参数的含义取决于上下文,但这里是:
我会说模型的参数是直接拟合数据的参数,而超参数是用户设置或间接拟合数据的参数。例如在岭回归中,参数是回归系数,岭参数是超参数。在这种情况下,回归参数是通过使用惩罚项最小化负对数似然来确定的,通常通过正规方程
而岭参数,, 由用户设置(也许只是为了确保矩阵是可逆的)或者可以通过最小化交叉验证误差或广义交叉验证来调整。在这种情况下,使用数据进行调整,但只是间接调整。
有时参数和超参数之间没有真正的统计区别,除了有一种计算有效的方式来确定一组参数的值给定其他参数的值,第一组被称为“参数”和第二组被称为“超参数”,但这实际上只是为了方便。例如,我(和 Marsupial 夫人)发现 [ 1 ] 直接在数据上调整内核机器(例如 LS-SVM)的内核参数会更好(带有额外的正则化项),因此我们将它们视为参数,而不是通常将它们视为超参数的方法(例如通过交叉验证进行调整)。
我不认为 Dirichlet 分布本身具有超参数,但是如果在贝叶斯分析中将 Dirichlet 分布用作先验,那么 Dirichlet 分布的参数将成为模型的超参数。模型的参数直接从给定 Dirichlet 先验的数据中确定(以及通过例如最大化模型的证据间接调整到数据的超参数)。
[ 1 ] Cawley、GC 和 Talbot NL C,“第一级推理的内核学习”,神经网络,第 53 卷,第 69-80 页,2014 年 5 月。(doi,预印本)
其它你可能感兴趣的问题