决策边界的方程是如何确定的?

机器算法验证 机器学习 物流
2022-04-01 00:18:36

机器学习新手/爱好者在这里学习Andrew Ng 的课程 @ Coursera

我正在研究逻辑回归。我了解到,根据数据,决策边界可以用简单的线性方程(一条线)以及更复杂的高阶多项式(曲线、圆形、奇数形状)来描述。

我有什么不是 100% 清楚的:决策边界的方程是如何确定的?例如:

在此处输入图像描述

这里的决策边界是一个圆,定义为

θ0+θ1x1+θ2x2+θ3x12+θ4x22=0

逻辑回归算法是否能够生成如此复杂的公式,还是需要手动调整?

1个回答

您需要一条额外的信息来确定决策边界:阈值概率的水平。给定一个阈值,当我们做出积极的决定时T

g(θ0+θ1x1+θ2x2+θ3x12+θ4x22)T

和消极的决定,当

g(θ0+θ1x1+θ2x2+θ3x12+θ4x22)<T

所以边界由下式给出

g(θ0+θ1x1+θ2x2+θ3x12+θ4x22)=T

在您的情况下,逻辑回归,是 sigmoid 函数,其倒数是对数几率,因此决策边界是g

θ0+θ1x1+θ2x2+θ3x12+θ4x22=log(T1T)

右手边只是一个常数。您可以完成正方形以找出在任何给定情况下这确定的几何曲线类型。

Andrew在右侧 ,如果不研究您要解决的具体问题,我通常不会建议这样做。值的假阴性和假阳性之间的成本权衡来设置阈值0T=0.5T

但是我仍然不清楚:Andrew 是否说过“酷,我的数据可以用一个圆圈分隔,让我们使用圆圈方程 [...]”?算法是否解决了这个问题?

在这种情况下,肯定是第一件事!

逻辑回归没有内置功能来创建和使用原始特征的转换,并且在构建模型时通常使用探索性数据分析来辅助。

其他方法是:

  • 在回归中使用特征的基础扩展,例如三次样条。这将允许回归拟合非常一般的形状。
  • 使用广义的逻辑回归,如梯度增强逻辑回归。它能够自适应地创建新功能以适应您的数据。

但是对于逻辑回归的第一次尝试,查看数据并设计适当的特征是一种很好的做法。这几乎肯定是安德鲁试图传达的教训。