了解 Andrew Ng 的线性回归成本函数定义中的一些术语

人工智能 线性回归 数学
2021-11-13 03:40:51

我已经完成了 Andrew Ng 课程的第一周。我知道线性回归的成本函数定义为J(θ0,θ1)=1/2m(h(x)y)2h定义为h(x)=θ0+θ1(x). 但我不明白什么θ0θ1在等式中表示。有人能解释一下吗?

3个回答

线性回归总是与激活函数、层之间的权重和网络结构相关联。层之间的权重是θ0θ1. 这些权重和输入特征经过点积运算,然后作为下一层节点激活函数的输入。

一个明显不同但相同的用法θ0θ1是作为一个或多个项的系数,这些项本身是输入向量的组合。

宽广地,θi表示权重,即您希望对某个功能给予多少偏好。

如上所述,它们是您的假设函数的权重,在训练期间会发生变化以最小化您的错误函数。您可以将它们视为基本代数中的斜率和 y 截距。但是,线性回归假设函数可以由更多的权重项参数化,而不仅仅是 theta_0 和 theta_1。

我在这篇文章中详细介绍了这个过程:激活函数的导数如何测量神经网络中的错误率?

线性回归所做的预测可以简单地认为是向量点积。

xTy

这两个向量之一是一种情况的“数据”(如数据矩阵中的一行),另一个是模型参数的向量,通常称为θ或者β.

所以在你展示的情况下,我们有:

h(x)=θ0+θ1x

通常我们会在数据矩阵的开头添加一行 1,这样我们在某种意义上是一致的θ0=1θ0

这样我们就可以得出:

h(x)=θTx