如何使用 CNN 对具有非矩形形状的图像进行分类?

机器算法验证 机器学习 神经网络 卷积神经网络 计算机视觉
2022-03-27 11:45:30

如何选择过滤器?我应该对图像的其余部分进行零填充并使其成为矩形吗?或者在更具体的情况下,在处理大脑 fMRI 数据时,表示大脑的 3D 模型并未完美匹配成立方体。这可能会使传统的卷积神经网络出现问题,因为它使我们更难在所有偏移量中移动过滤器。

PS。

2D 模型(图像)只是我的案例的简化。我目前在做一个大脑fMRI分类模型,虽然我们可以在一个60*50*20的立方体中查看数据,但实际上,想象一下大脑的形状(立方体只是为了方便分配坐标或每个体素而创建的),超过 50% 的多维数据集没有数据(没有数据意味着 N/A,而不是 0,它们不会对我的模型做出任何贡献)。那我现在该怎么办?

1个回答

您可以使用 CNN 完美地训练非矩形图像。如果您有非矩形输入图像,您仍然可以使用方形内核。请注意,生成的大小在两个维度上会有所不同。如果您有 80*100 的图像,并使用 5*5 过滤器,如果您不使用任何填充,则结果尺寸将为 76*96。你必须小心这个维度,因为 - 在最后一层,你可能会使用大小必须完全匹配的全连接层 - 否则你会得到维度不匹配错误。

在您的情况下,如果您缺少一些点,一种使用方法是使用复制填充,这类似于零填充,除了它将边界像素的值添加到新添加的尺寸。如果你认为你必须将更多的像素增加大约 50%,最好不要使用这种类型的数据来训练——否则它会给你的数据添加更多的噪音——并使你的分类器更加混乱。