如何解决线性分类问题的梯度下降?

数据挖掘 机器学习 线性回归 梯度下降 在家工作
2021-09-22 18:25:06

我有一个问题,我已将其附加为图像。

问题在附图中 在此处输入图像描述

我的理解

误差函数由下式给出:e(y,y^)=0 如果 ya(xb)1 或者 e(y,y^)=1ya(xb) 如果 ya(xb)<1.

当前梯度下降 t 是 (1,3)。

梯度下降(Ein(a,b)) 根据定义应等于方程的偏导数 Ein(a,b)ab. (w 相当于 [a,b],据我说)

我的怀疑

请注意,当我说 N 点求和时,我的意思是使用用于 N 点求和的希腊符号

  1. 我不确定在这种情况下如何计算偏导数。当我们说修复'a'和变化'b',这是否意味着仅找到差异化'b'?这意味着梯度(Ein)= 1/N(i=1Nyia). 但这消除了对x 这就是为什么我怀疑我的方法。

  2. 需要对其进行导数的最终方程是: 1/Ni=1N1ya(xb)对于 N 个错误分类的点。但根据数据集,没有任何点被错误分类,因为 (a,b)=(1,3) 的每个点的误差函数等于 0。

    对于点 1,其中 x=1.2 且 y = -1,如 ya(xb)=(1)(1)(1.23)=+1.8. 这意味着e(y1,h(x1))=0.

那么这个问题的答案应该是什么?

我希望我对这个问题的怀疑对观众来说是清楚的。但无论如何,如果有什么我无法解释的,请告诉我。

1个回答

在我看来,您的梯度计算已关闭:

Ein(a,b)b=1|D|ie(yi,ha,b(xi))b

哪里(带有一些宽松的符号):

e(yi,ha,b(xi))b=e(y,s)sha,b(xi)b

我们可以证明:

e(y,s)s=y
如果
1y.s>0
否则:
e(y,s)s=0

这为您提供了对 x 的预期依赖性,因为值会更改标准。

和 :

ha,b(xi)b=a

所以你有了 :

Ein(a,b)b=1|D|i1y.x<1ya