背景:在看到 Geoffrey Hinton 的精彩演讲 后,我最近更深入地了解了数据增强在训练卷积神经网络时的重要性。
他解释说,当前一代的卷积神经网络无法概括被测对象的参考框架,这使得网络很难真正理解对象的镜像图像是相同的。
一些研究已经开始试图解决这个问题。这是众多示例之一。我认为这有助于确定当今训练卷积神经网络时数据增强的重要性。
数据增强技术很少相互进行基准测试。因此:
问题:
从业者报告的表现异常出色的论文有哪些?
您发现哪些数据增强技术很有用?
背景:在看到 Geoffrey Hinton 的精彩演讲 后,我最近更深入地了解了数据增强在训练卷积神经网络时的重要性。
他解释说,当前一代的卷积神经网络无法概括被测对象的参考框架,这使得网络很难真正理解对象的镜像图像是相同的。
一些研究已经开始试图解决这个问题。这是众多示例之一。我认为这有助于确定当今训练卷积神经网络时数据增强的重要性。
数据增强技术很少相互进行基准测试。因此:
问题:
从业者报告的表现异常出色的论文有哪些?
您发现哪些数据增强技术很有用?
秒。1:数据增强由于深度网络需要在大量训练图像上进行训练才能达到令人满意的性能,如果原始图像数据集包含有限的训练图像,最好进行数据增强以提高性能。此外,数据增强成为训练深度网络时必须做的事情。
有很多方法可以进行数据增强,例如流行的水平翻转、随机裁剪和颜色抖动。此外,
您可以尝试多种不同处理的组合,例如
同时进行旋转和随机缩放。此外,
您可以尝试将所有像素的饱和度和值(
HSV 颜色空间的 S 和 V 分量)提高到 0.25 和 4 之间的幂(
对于补丁中的所有像素都相同),将这些值乘以
0.7 之间的系数和 1.4,并添加一个介于 -0.1 和 0.1 之间的值。
此外,您可以将 [-0.1, 0.1] 之间的值添加到
图像/补丁中所有像素的色调(HSV 的 H 分量)。克里热夫斯基等人。1在 2012 年训练著名的 Alex-Net 时提出了花式 PCA。花式 PCA 改变了
训练图像中 RGB 通道的强度。在实践中,您可以首先对整个训练图像中的 RGB 像素值集执行 PCA。然后
,对于每个训练图像,只需将以下数量添加到
每个 RGB 图像像素(即 I_{xy}=[I_{xy}^R,I_{xy}^G,I_{xy}^B]^T ):
[bf{p}_1,bf{p}_2,bf{p}_3][alpha_1 lambda_1,alpha_2 lambda_2,alpha_3
lambda_3]^T 其中,bf{p}_i 和 lambda_i 是第 i 个特征向量和
特征值的 RGB 像素值的 3 乘 3 协方差矩阵,
alpha_i 是从高斯提取的随机变量
均值为零,标准差为 0.1。请注意,每个
alpha_i 仅针对特定训练图像的所有像素绘制一次,
直到该图像再次用于训练。也就是说
,当模型再次遇到相同的训练图像时,它会
随机产生另一个 alpha_i 用于数据增强。在1中,他们
声称“精美的 PCA 可以近似地捕捉
自然图像的一个重要属性,即对象身份对于照明强度和颜色的变化是不变的”。在分类性能方面,该方案 在 ImageNet 2012 的比赛中将
top-1 错误率降低了 1% 以上。