逻辑回归最大似然

数据挖掘 逻辑回归
2022-03-09 17:56:52

我们假设我们的 P(y|x;theta) 遵循伯努利分布,假设 y 在逻辑回归中具有二进制输出,这是真的吗?我们考虑伯努利分布有什么具体原因吗?

如果 1) 为真。如果我们将 P(y|x; theta ) 视为高斯分布会发生什么?我们的成本函数是什么?我的意思是,如果我们假设高斯分布,我们可以通过取 (y|x) 的平均值及其方差来获得均值和方差的最佳值,这就是我们最大化可能性的原因。

1个回答

伯努利分布是一种概率分布,其中随机变量以概率 p 取值 1,以概率 1-p 取值 0。该分布很好地映射到逻辑回归,因为随机变量是目标变量,并且模型在给定特征的特定值的情况下估计 0 或 1 的概率。

高斯分布不太适合,因为它是从负无穷到正无穷的连续概率分布。结果将是问题空间边界之外的预测。

成本函数是不同的。成本函数是如何惩罚预测中的错误。