机器算法验证 - 似然函数的正确定义是什么？ - 吾爱随笔录

似然函数的正确定义是什么？

机器算法验证机器学习自习条件概率可能性生成模型

2022-04-11 10:58:10

我正在做 CS229：Stanford Engineering Everywhere 的机器学习。贯穿他使用的第一章

L (θ) = P (Y | X; θ)

$L(\theta) = P(Y | X; \theta)$

即参数的可能性由 cond 给出。概率。给定 X 的 Y $\theta$

现在在第二章中，当谈到高斯判别分析时，在没有任何解释的情况下，我们的可能性看起来是这样的：

L (θ) = P (Y \cap X; θ)

$L(\theta) = P(Y \cap X; \theta)$

这里发生了什么？什么时候使用似然函数？我发现第一种可能性是一个更自然的选择。

我说的是这个脚本的第 10 页

3个回答

这两个可能性通过以下等式相关：所以，和的联合概率必须考虑两件事：

P (Y \cap X | Θ) = P (Y | X, Θ) P (X | Θ)

$P(Y \cap X\,|\,\Theta) = P(Y\,|\,X,\Theta)P(X\,|\,\Theta)$

Y

$Y$

X

$X$

给定和生成 $Y$ $X$ $\Theta$
给定生成 $X$ $\Theta$

$P(Y\,|\,X,\Theta)$ 仅考虑 (1)，并且当您只关心在已知 X 时预测 Y 时，将是首选。联合似然性着眼于在给定模型参数的情况下生成 X 和 Y 的概率。如果您希望模型在给定 X 的情况下预测 X 和 Y，这可能很有价值。换句话说，是一种衡量模型在多大程度上知道类型的方法可能发生在您的数据集中。 $\Theta$ $P(X\,|\,\Theta)$ $X$

从可能性的一般定义开始。您很可能对概率并不真正感兴趣，但很有可能在给定数据的某些模型使用数据的概率计算的，即 $\theta$ $\theta$

L (θ | X) = \prod_{i} f_{θ} (x_{i})

$L(\theta|X) = \prod_i f_\theta(x_i)$

现在，在您的示例中，描述了两种不同的可能性。在第一种情况下，您有一个为条件回归模型，在第二种情况下，您在双变量模型中拥有和的联合似然。这与您可以拥有条件概率和联合概率一样，它们都是概率，因此具有相同的属性，但描述的情况不同。 $Y$ $X$ $X$ $Y$

似乎在第二种情况下， $X$ 和 $Y$ 都在生成模型中联合建模，您可以将联合似然度写为 $P(X, Y | \theta)$

例如，现在假设 X 和 Y 是独立的，则联合对数似然可以写为：

\log L (θ) = \log P (X | θ) + \log P (Y | θ)

$\log L(\theta) = \log P(X |\theta) + \log P(Y|\theta)$

其它你可能感兴趣的问题

上一篇将数据拟合到曲线时出现问题 (NLS) 下一篇梯度下降能否找到比最小二乘回归更好的解决方案？