你会说,你可以为任何应用程序设计、调整和/或训练任何 DNN,还是他们的设计固有地假设了一些专业化?有这样的评论吗?
例如,CNN 是否更适合空间域(例如图像分析),而 RNN 更适合时间域(例如时间序列数据或语音),还是无关紧要?
你会说,你可以为任何应用程序设计、调整和/或训练任何 DNN,还是他们的设计固有地假设了一些专业化?有这样的评论吗?
例如,CNN 是否更适合空间域(例如图像分析),而 RNN 更适合时间域(例如时间序列数据或语音),还是无关紧要?
卷积神经网络在图像识别和相关任务方面一直优于其他方法。事实上,超过一定的图像大小,由于需要大量的参数,在原始像素上训练一个完全连接的网络是不切实际的。然而,随着输入图像大小的增加,a 中的参数数量CNN增长得更慢,因为它们通常不需要更大的过滤器,并且每个过滤器的参数数量与输入大小无关。
CNN话虽如此,最近的论文Deep Image Prior中更显着地展示了图像处理架构的强大功能。摘要如下:
深度卷积网络已成为图像生成和恢复的流行工具。通常,它们的出色表现归因于它们从大量示例图像中学习真实图像先验的能力。在本文中,我们表明,相反,生成器网络的结构足以在任何学习之前捕获大量低级图像统计信息。为了做到这一点,我们展示了一个随机初始化的神经网络可以用作手工制作的先验,在去噪、超分辨率和修复等标准逆问题中具有出色的结果。此外,相同的先验可用于反转深度神经表示以诊断它们,并基于 flash-no flash 输入对恢复图像。
除了其多样化的应用之外,我们的方法还突出了标准生成器网络架构捕获的归纳偏差。它还弥合了两个非常流行的图像恢复方法家族之间的差距:使用深度卷积网络的基于学习的方法和基于手动图像先验(如自相似性)的免学习方法。
因此,他们能够证明任何训练之前的原始网络对于复杂的任务都足够强大,这是我所见过的特定架构本身强大且最直接的说明。
时间序列预测的答案并不那么清楚,因为对于某些数据集,CNNs各种技巧的执行效果与此相当RNNs,但总的来说RNNs似乎更适合该问题,因为它们可以处理任意长度的输入,并且可以存储状态。
但是,任何一种方法都将显着优于以前的方法,例如将固定大小的滑动窗口传递到全连接网络中。即使当一个全连接网络与一些状态保持模型相结合时,ARIMA它仍然无法与CNNsor的性能相匹配RNNs。请参阅用于时间序列分析的深度学习。