卷积神经网络通常是图像分类和语义分割的最佳选择。另一方面，分类/数字数据（年龄、身高、城市等）最好由传统机器学习模型处理，例如（深度）随机森林、支持向量机或传统神经网络。
是否存在结合卷积和传统神经网络的混合架构，用于对由图像和分类数据组成的数据集进行分类？我确信这个问题之前已经解决了，我专门在其中一个常用库（PyTorch、Tensorflow、Keras 等）中寻找研究论文、教程和实现。
这种“混合”数据集的一个很好的例子是ISIC 数据集，其中包含数千张皮肤生长图像以及每张图像的患者年龄和性别等信息。假设，包含此分类/数字信息的混合模型可能比仅使用图像的模型更成功地检测皮肤癌。
如果我必须这样做，我会使用迁移学习策略：
我会用图像训练一个深度学习模型来解决分类问题。为了做到这一点，我当然需要为图像类添加标签。如果此标签不存在，则此方法没有意义。进行非常准确的图像分类相对容易，因为有很多工具。当然，我会使用 CNN 来做到这一点。
一旦我训练好我的 CNN，我就会取出最后一个全连接层。我会将这一层的输入与您拥有的分类/数值数据连接起来，并使用这种连接获得特征向量。我会将此特征向量输入到另一个 ML 算法中以实现您需要的目标。
这是我编的吗？
没有。在文本的快速人工智能深度学习课程中也做了类似的事情。训练一个 RNN 来预测一个句子的下一个单词，然后使用该 RNN 的权重来构建一个情感分析机器。我认为这个想法非常相似，这就是我称之为迁移学习的原因。
如果我没有图像标签怎么办？
然后我的建议是使用在图像网络上训练的 CNN，取出最后一个完全连接的层，并将该层的输入与其他特征连接起来。