如何在线性回归模型中使用正确的权重

数据挖掘 线性回归 损失函数
2022-02-25 15:04:58

我试图了解我们能否实现一个简单的线性回归模型。

假设我们正在预测价格货币。我们想知道货币是否会上涨。

据我了解,我们需要为此定义两个向量:

x=[1,2,3,4,5,6,7,8,9,10,11,12] - 月

y=[2.30,2.33,2.29,2.30,2.36,2.40,2.46,2.50,2.48,2.43,2.38,2.35] - 平均价格。

让我们绘制这个:

在此处输入图像描述

在 sigmoid 分隔符之前,我将尝试一个简单的线性分隔符。

我猜首先,我需要选择一些随机斜率(并且偏差将是向量中的最小标量)。

f(x)=0.026x+2.3

在此处输入图像描述

如我们所见,分离器不准确,让我们尝试 f(1) 处的二次成本函数:

C=1Ni=0N(y^y)2

C=11i=01(2.32599999999999962.30)2=0.0006759999999999897

一开始它似乎是准确的,但随着它的进展它变得更糟,所以我需要以某种方式改进它。

据我所知,下一步是求函数的导数。

通常,梯度下降算法用于此,但在这里找到切线的斜率非常容易:

dydx=0.026

你下一步怎么做?我如何使用这个导数来使用适当的权重来最小化成本函数?

1个回答

您对线性分隔线是正确的,导数似乎微不足道。在这种情况下,不需要梯度下降,因为权重存在封闭形式的解决方案。

w=(XTX)1XTy

我们只对不存在封闭形式解决方案的模型使用优化技术,例如梯度下降。但是,如果您使用导数对权重执行梯度下降并迭代地执行以下等式

wnew=woldνdydx

将产生与封闭形式解决方案相同的结果。然而,当不需要时,这是非常不必要的。