降维技术在深度学习中有用吗

数据挖掘 机器学习 神经网络 深度学习 降维 主成分分析
2021-10-13 10:48:34

我一直在研究机器学习,并注意到大多数时候,降维技术PCAt-SNE用于机器学习,但我很少注意到有人为深度学习项目这样做。在深度学习中不使用降维技术有什么具体原因吗?

3个回答

深度学习不使用降维,因为深度学习本身就是一种有用的降维技术。深度学习通过隐藏层学习数据的压缩非线性表示。由于深度学习可以学习非线性映射,因此它是一种比 PCA 更灵活的降维技术,PCA 仅限于线性映射。

这在很大程度上取决于您的任务、数据和网络。基本上,PCA是当前特征的线性变换。假设您的数据是图像或一种局部性很重要的数据。如果您使用PCA,您将丢弃这些位置信息。因此,很明显人们通常不会在卷积网络中使用它们。对于顺序任务,这在很大程度上取决于您的代理是否在线如果它在线,则您从一开始就没有完整的信号。即使你有离线任务,通过进行这种递减的转换,你又会丢弃顺序信息,我不得不说我还没有看到它们的使用。我想它们的主要用途是在可以使用简单的方法解决您的问题的任务中MLPs您不保留顺序或本地信息。在这些任务中,由于您可以使用PCA导致高度相关特征减少的事实,您的训练模型的参数数量可以显着减少。

如果你有计算时间和能力,反向选择可以让你通过去除变量来衡量降低维度的效果。

虽然这在某些情况下很有帮助,但我会说一般来说它本身并不可取。通常删除变量应该是具有统计支持的领域知识的结果,而不仅仅是统计评估。