我正在参加机器学习课程,现在正在研究用于分类的线性模型。幻灯片展示了学习线性判别式(最小二乘法、Fisher 线性判别式、感知器和 SVM)的方法,更具体地说,是如何计算权重矩阵确定判别函数:
我的问题是关于最小二乘:我不明白平方和误差函数的最小化:
(在哪里是痕迹)。
是推导出来的,以及如何可能达到封闭公式的解决方案:
有人可以以最简单和最清晰的方式向我解释这些公式的主要步骤吗?我是初学者。
PS 这些公式来自 C.Bishop。模式识别和机器学习。
我正在参加机器学习课程,现在正在研究用于分类的线性模型。幻灯片展示了学习线性判别式(最小二乘法、Fisher 线性判别式、感知器和 SVM)的方法,更具体地说,是如何计算权重矩阵确定判别函数:
我的问题是关于最小二乘:我不明白平方和误差函数的最小化:
(在哪里是痕迹)。
是推导出来的,以及如何可能达到封闭公式的解决方案:
有人可以以最简单和最清晰的方式向我解释这些公式的主要步骤吗?我是初学者。
PS 这些公式来自 C.Bishop。模式识别和机器学习。
这个公式有两种解释,我解释其中一种。
以上是为了确保您制作一个具有逆矩阵的方阵。它可能是没有任何逆,但它出现线性回归问题的机会并不多。原因是你有一个矩阵属于哪一个表示样本数和表示特征的数量。通常,样本的数量远远多于特征的数量。下一个,
因此,您找到了一个封闭式线性回归问题,可以推广到非线性回归。
意识到称为矩阵的伪逆. 原因是不是方阵,也没有逆矩阵,但通过上述公式,您可以找到它的伪逆矩阵。只需乘以你会得到身份矩阵。
对此还有另一种解释。你可以在这里找到。