将 CNN 训练为自动编码器是否有意义?

数据挖掘 深度学习 卷积神经网络 无监督学习 自动编码器
2021-09-24 04:13:46

我负责分析 EEG 数据,这些数据最终需要进行分类。然而,获取录音的标签有点昂贵,这导致我考虑无监督方法,以更好地利用我们大量的未标记数据。

这自然会导致考虑堆叠自动编码器,这可能是一个好主意。然而,使用卷积神经网络也是有意义的,因为某种过滤通常是一种非常有用的脑电图方法,并且很可能应该对所考虑的时期进行局部分析,而不是整体分析。

有没有一种结合这两种方法的好方法?似乎当人们使用 CNN 时,他们通常使用监督训练,还是什么?为我的问题探索神经网络的两个主要好处似乎是无监督方面和微调(例如,在人口数据上创建一个网络,然后对个人进行微调会很有趣)。

那么,有谁知道我是否可以像“残废”的自动编码器一样对 CNN 进行预训练,还是没有意义?

我是否应该考虑其他一些架构,例如深度信念网络?

2个回答

是的,将 CNN 与自动编码器或其他无监督方法一起使用是有意义的。事实上,已经针对 EEG 数据尝试了将 CNN 与无监督训练相结合的不同方法,包括使用(卷积和/或堆叠)自动编码器。

例子:

EEG 记录的深度特征学习使用具有自定义约束的卷积自动编码器来改进跨主题和试验的泛化。

基于 EEG 的深度卷积神经网络对驾驶员认知表现的预测在单个电极上使用卷积深度信念网络,并将它们与完全连接的层相结合。

一种用于 EEG 运动图像信号分类的新型深度学习方法在受监督训练的(相当浅的)CNN 的输出上使用完全连接的堆叠自动编码器。

但纯监督 CNN 在 EEG 数据上也取得了成功,例如:

EEGNet:基于 EEG 的脑机接口的紧凑型卷积网络

使用卷积神经网络进行深度学习,用于大脑映射和解码来自人类脑电图的运动相关信息(披露:我是这项工作的第一作者,更多相关工作见第 44 页)

请注意,EEGNet 论文表明,即使试验次数较少,对其 CNN 的纯监督训练也可以优于其基线(见图 3)。同样,根据我们对只有 288 次训练试验的数据集的经验,纯监督 CNN 工作良好,略胜于传统的滤波器组通用空间模式基线。

是的,您可以在自动编码器设置中使用卷积网络。它没有什么奇怪的。但是,人们在弄清楚反卷积时遇到了问题。

在这里您可以找到使用 Keras 框架的卷积自动编码器的示例:https ://blog.keras.io/building-autoencoders-in-keras.html