术语问题:地点编码

数据挖掘 术语
2022-02-17 05:02:49

在阅读论文“Backpropagation Applied to Handwritten Zip Code Recognition”时,作者在第 3 页第 3.1 节写道(强调我的),这是归因于卷积神经网络发展的原始论文之一:

识别的其余部分完全由多层网络执行。网络中的所有连接都是自适应的,尽管受到很大限制,并且使用反向传播进行训练。这与早期的工作(Denker et al. 1989)形成对比,其中前几层连接是在神经网络芯片上实现的手动选择的常数。网络的输入是一个 16 x 16 的归一化图像。输出由 10 个单元(每类一个)组成,并使用地点编码

地方编码是什么意思?谷歌搜索这个词没有得出任何结论。任何见解表示赞赏。

1个回答

"Place coding" == "one-hot encoding" 这是在分类器的输出端对类别进行编码的传统方式:对于 N 个类别,使用一个 N 维向量,其中第 k 个分量被“打开”并且所有其他都关闭以对类别 k 进行编码。通常,“on”和“off”的值不需要是 1 和 0(或 +1 和 -1)。他们可以是任何东西。

“位置代码”的替代方案是“粗编码”和“分布式表示”,其中“纠错码”是一种特殊情况。

论文中的分类器使用一种分布式表示形式,其中相似的字符(如 o、O 和 0)由相似的位模式表示。这样,当系统不确定字符是 o、O 还是 0 时,它会产生一个输出位模式,仍然将字符识别为这 3 个类别之一,并将其​​留给后处理(例如语言模型)来解决歧义。