区别:复制器神经网络与自动编码器

数据挖掘 神经网络 异常检测 自动编码器 离群值
2021-10-04 12:05:18

我目前正在研究有关使用 RNN(复制器神经网络)检测异常值的论文,想知道与自动编码器有什么特别的区别?RNN 似乎被许多人视为异常值/异常检测的圣杯,但是这个想法似乎已经很老了,因为自动编码器已经存在了很长时间。

1个回答

两种类型的网络都尝试在通过某种压缩/解压缩机制输入输入后重建输入。对于异常值检测,测量输入和输出之间的重构误差 - 异常值预计具有更高的重构误差。

主要区别似乎是输入的压缩方式:

普通的自动编码器通过一个隐藏层压缩输入,该隐藏层的神经元比输入/输出层少。这样网络必须学习数据的压缩表示。

复制器神经网络通过使用类似楼梯的激活函数的隐藏层压缩数据。阶梯状的激活函数通过将数据分配给一定数量的簇(取决于神经元的数量和步数)来使网络压缩数据。

阶梯状激活函数

来自Replicator Neural Networks for Outlier Modeling in Segmental Speech Recognition

RNN 最初是在数据压缩领域引入的 [5]。霍金斯等人。提出它用于异常值建模[4]。在这两篇论文中,都建议使用 5 层结构,在中间层有一个线性输出层和一个特殊的类似楼梯的激活函数(见图 2)。该激活函数的作用是将中间隐藏层输出的向量量化为网格点,从而将数据点排列成多个簇。