如何推导平方和误差函数公式?

数据挖掘 机器学习 神经网络 线性回归 优化
2022-02-28 03:13:52

我正在参加机器学习课程,现在正在研究用于分类的线性模型。幻灯片展示了学习线性判别式(最小二乘法、Fisher 线性判别式、感知器和 SVM)的方法,更具体地说,是如何计算权重矩阵W~确定判别函数:

y=W~Tx~+w0.

我的问题是关于最小二乘:我不明白平方和误差函数的最小化:

E(W~)=12Tr{(X~W~T)T(X~W~T)}
(在哪里Tr是痕迹)。

是推导出来的,以及如何可能达到封闭公式的解决方案:

W~=(X~TX~)1X~TT

有人可以以最简单和最清晰的方式向我解释这些公式的主要步骤吗?我是初学者。

PS 这些公式来自 C.Bishop。模式识别和机器学习。

1个回答

这个公式有两种解释,我解释其中一种。

Xw=y

XtXw=Xty

以上是为了确保您制作一个具有逆矩阵的方阵。它可能是XtX没有任何逆,但它出现线性回归问题的机会并不多。原因是你有一个矩阵X属于Rm×n哪一个m表示样本数和n表示特征的数量。通常,样本的数量远远多于特征的数量。下一个,

(XtX)1(XtX)w=(XtX)1Xty

w=(XtX)1Xty

因此,您找到了一个封闭式w线性回归问题,可以推广到非线性回归。

意识到(XtX)1Xt称为矩阵的伪逆X. 原因是X不是方阵,也没有逆矩阵,但通过上述公式,您可以找到它的伪逆矩阵。只需乘以X你会得到身份矩阵。

对此还有另一种解释。你可以在这里找到。