感知器损失函数中的歧义(C. Bishop vs F. Rosenblatt)

数据挖掘 机器学习 分类 感知器
2021-10-07 13:04:55

Bishop 的感知器损失

一方面,在 Chris Bishop 的书(模式识别和机器学习)的方程 4.54 中,感知器算法的损失函数由下式给出:

Ep(w)=nMwTϕntn

在哪里 M 表示所有错误分类数据点的集合。

原始感知器损失

另一方面,由 Frank Rosenblatt 撰写的原始感知器论文中使用的损失函数由(维基百科)给出:

1sj=1s|djyj(t)|
当翻译成毕晓普书的符号时,由下式给出:

1Nn=1N|tnwTϕn|
在哪里N表示所有数据点的集合。

我的问题

我的问题是,为什么 Bishop 的 Perceptron loss 版本与原始论文不同?考虑到 Bishop 的书是机器学习领域公认的书籍,我们可以称它为 Bishop 的 Perceptron 吗?!

Scikit-learn 的实现

顺便说一句,Scikit-learn 似乎使用了 Bishop 版本的感知器损失(Scikit-learn 文档)。从下面的公式和图中可以看出:

-np.minimum(xx, 0)

对于一个样本,它减少到:

min(0,wTϕntn)

在此处输入图像描述

1个回答

我设法通过挖掘找到了主教的版本!Rosenblatt 1962 年的《神经动力学原理》,第 110 页,因此维基百科的版本必须是替代版本。

值得注意的是,这本书还有一个关于错误反向传播的章节(第 292 页),类似于 Wikipedia 的版本,但我认为并不完全相同。