我试图理解高斯过程。谁能告诉我:
- 为什么我们需要使用对数边际似然?
- 为什么使用对数,可以将边际似然分解为 3 项(包括拟合项和惩罚项)?
我试图理解高斯过程。谁能告诉我:
边际似然通常用于衡量模型的拟合程度。您可以将过程的边际可能性作为控制过程的参数集的边际化来计算。这个积分通常不可用,也不能以封闭形式计算。但是,可以通过完全似然和惩罚项的总和找到一个近似值,我想这就是您在第 2 点提到的分解。
出于数值稳定性的原因,可能性通常以对数标度计算:考虑一台只能存储 99,000 到 0.001(仅小数点后三位)加上符号的数字的计算机。如果你计算一个密度并且在某些时候它的值是 0.0023456789,在计算机中这将被存储为 0.003 丢失部分真实值,如果你以对数比例计算它,log(0.0023456789)=−6.05518 将存储为 - 6.055 损失小于原始规模。如果将很多小值相乘,情况会变得最糟糕:考虑 0.00234567892 将存储为 0 而 log(0.00234567892)=−12.11036