如何确定问题是否可以通过神经网络解决?

数据挖掘 神经网络 卷积
2022-03-08 22:43:32

我想使用卷积神经网络识别图像中的微妙模式。我见过几个例子,人们放弃了这种模式不占主导地位或不够一致而无法被神经网络识别的推理。由于调整这些网络非常耗时,我想知道:有什么方法可以验证问题是否可解决/模式可以被识别(或至少给出相同的指示)?

背景:我的问题

我的目标是根据图像识别产品的细微差异。我想将产品图像分解为多种描述属性。现在我需要找出哪些产品属性非常适合识别。

例如,我想区分服装图像中的领型。因此,我需要弄清楚人类对衣领类型(瀑布、V 形、圆形等)的理解是否足够清晰和一致,足以被具有人类水平性能的神经网络正确识别。

当然,图像总是略有不同,可解性显然与可用数据相关。但在收集和清理数十万张图像之前,我想知道结果是否有任何好处。

2个回答

只要您的环境不是完全随机的,神经网络就会发现任何模式。

以下是使用递归神经网络进行外汇预测的作者用来确定随机性数量的内容:

第 7 页,底部。“赫斯特指数”。

识别神经网络不能工作的项目比识别它可以工作的项目要容易得多。例如,如果您的记录少于 10,000 条(高度主观的经验法则),那么神经网络可能会过度拟合而无法工作。如果一个人在标签上挣扎,那么神经网络可能也会在挣扎。

在我的主观意见中,如果没有大量记录,您的问题听起来很难让神经网络(或任何模型)学习。您可能至少需要几十万,不包括翻转图像等数据增强,或 ImageNet 数据集规模(即数百万)的数据。我这么说是因为即使作为一个人,我也不知道你描述的那些领子类型是什么。在数以万计的数据集上,您可能可以训练一个卷积网络来识别衬衫和裤子,但我非常怀疑它能否准确地检测出衣领类型​​。