有很多研究表明深度学习在分类方面效果很好,但在回归领域却不行
SVR,基于树的方法仍然很好,我找不到关于回归的好的架构
好吧,在实施深度回归时您必须遵循一些方案,但我想知道为什么它不能很好地作为分类
任何好的理论或解释为什么深度学习(mlp)不能像分类一样有效?
我想深入研究这个问题
有很多研究表明深度学习在分类方面效果很好,但在回归领域却不行
SVR,基于树的方法仍然很好,我找不到关于回归的好的架构
好吧,在实施深度回归时您必须遵循一些方案,但我想知道为什么它不能很好地作为分类
任何好的理论或解释为什么深度学习(mlp)不能像分类一样有效?
我想深入研究这个问题
在我看来,以下可能是深度学习在回归问题中相对不受欢迎的一个(但不是唯一)原因:
现代神经网络的大部分成功来自于它们利用世界组合性质的能力。也就是说,在图像或音频分析等感知问题中,特征具有顺序(空间或时间),局部模式聚合形成更高层次的概念和对象(例如,汽车的图片由车轮和其他部件组成,由较低级别的视觉特征组成,这些视觉特征由边缘、圆形和线条等基本形状组成)。现代神经网络(例如卷积神经网络)通过在更深层学习越来越抽象的特征来利用这一点。Hinton等人在这些幻灯片中更详细地解释了这些想法。[1]
相反,经典回归问题由许多无序特征组成,并且可以使用输入特征的浅线性/非线性模型很好地预测目标值。从某种意义上说,图像分类或语音识别等问题中存在的这种组合属性在“根据个人的性别、年龄、国籍、学历、家庭规模……预测个人的收入”等问题中是不存在的。
这可以解释为什么深度学习更受欢迎的一些回归问题是基于图像的(例如,基于面部摄影的年龄预测)。
当然,这些只是一些直观的想法,对这个问题进行更正式的分析当然是一个不错的研究课题。深度学习无疑是一个需要更多理论保证和见解的领域。
[1] https://www.iro.umontreal.ca/~bengioy/talks/DL-Tutorial-NIPS2015.pdf
您可以“使用”深度学习进行回归。您必须考虑以下几点: