为什么最大似然估计使用 pdf 的乘积而不是 cdfs
机器算法验证
最大似然
密度函数
累积分布函数
2022-03-10 04:04:52
2个回答
如何使用 CDF 对模型的两个可能的参数化进行排名?它是一个累积概率,所以它只能告诉我们在给定概率模型的情况下,获得这样一个结果的概率或更低的值。如果我们采取为了预测最小的可能结果,每次观察时 CDF 几乎为 1,这将是最“可能”的,因为“是的,如果平均高度真的是 -99,我非常有信心重复我的样本会产生值比我观察到的要小”。
我们可以平衡左累积概率和右累积概率。在我们的计算中考虑相反的情况:中值无偏估计量满足:
这里的最佳价值是那个同样可能大于或小于其预测值(假设是这里的意思)。但这肯定不符合我们能够将替代参数化排序为更可能用于特定样本的想法。
也许,另一方面,你想确定在值的小区间内很有可能,即最大化该概率:
但是应该多大是?那么如果被认为是任意小的:
你得到密度。瞬时概率函数最能表征参数化下特定观察的可能性。
您有一个经验数据集,并希望找到假设分布的最佳拟合参数。假设您的经验是高斯,平均值为 50,标准差 10。
让算法进行猜测...均值 0,标准差 1。您的真实点将远远落后于这个猜测,但我们可以通过基于均值 0 的假设乘以您的值的所有概率来总结它, sd 1. 实际上,让我们对日志求和,而不是相乘,因为这样更易于管理。此外,由于我们的算法喜欢最小化而不是最大化,我们将翻转符号,因此您最终得到 -logLiklihood。
事实证明,当您对均值和 sd 做出正确猜测时,-LogLiklihood 将小于错误猜测。冲洗并重复,直到 -logLiklihood 的变化足够小,并且适合您。
CDF 本身并不适合这种目标函数。乘以 PDF 的乘积(或对日志求和)从字面上告诉您,您的数据在特定参数集的假设下的可能性。
其它你可能感兴趣的问题