最小二乘优化

数据挖掘 分类 统计数据 优化 机器学习模型
2021-09-24 21:10:08

给出的成本函数为 β^=(-βX)(-βX) 用于评估权重 β. 这里X 是数据和 是输出。在取导数时,我们得到了权重的估计值。这是一个最小二乘公式。

1)观察(输出)时可以使用最小二乘法(LS)吗 是的一世, 一世=1,2,..,ñ有多少例子是分类的?我不太了解使用 LS 的分类问题在分类案例的导数方面是如何工作的。

2)数据的时候可以用LS吗 X是单热编码吗?公式和衍生物是否相同?

3个回答

来到你的第一个问题:

是的,你可以,但不建议使用 LS 作为分类任务的成本函数,因为优化问题变得非凸!更重要的是,由于您的逻辑回归模型将是 sigmoid(非线性函数),这意味着您的成本函数将有很多局部最优值!(将成本函数的表面想象成喜马拉雅山谷!),所以,当您将使用梯度下降(一种迭代方法)来最小化您的成本函数时,GD 将停留在局部最小值而不是全局最小值中的某个位置,因此您将无法根据数据学习模型的最佳模型参数!所以, 更多信息在这里

您可以在ISLR 第 129 页找到更多关于它的理论理解。 4.2 为什么不是线性回归?

1) 答案是肯定的。当我们处理 k 个类别时,您需要 (k-1) 个虚拟变量。逻辑是相同的,因为我们在假设 X 和 Y(变量)给定的情况下根据参数 (beta) 区分成本函数。

2) 同样,没有区别。

  1. 最小二乘在技术上可以用于分类输出,但绝对不应该。最小二乘法(通常是线性回归)用于连续输出,并对使用分类输出时失败的数据做出若干假设。主要问题之一是您的预测值可能会超出 0-1 范围,但如果您正在查看二进制分类问题,它们应该在该范围内。相反,您应该使用逻辑回归之类的东西,它使用 sigmoid 使分数在 0 和 1 之间。这是对此的可视化

  2. 只要你有一个连续的输出,你可以在 one-hot-encoding 分类数据时使用 LS。