我有一个包含 9 个不同类别的图像数据集。但是,具有相同类型的关联图像有不同的类别,并且只能在我的特定问题中使用关联矩阵来区分。
我想用图像和相关矩阵作为输入来训练神经网络。什么类型的架构好用?或者我在哪里可以找到关于它的参考书目?
我有一个包含 9 个不同类别的图像数据集。但是,具有相同类型的关联图像有不同的类别,并且只能在我的特定问题中使用关联矩阵来区分。
我想用图像和相关矩阵作为输入来训练神经网络。什么类型的架构好用?或者我在哪里可以找到关于它的参考书目?
主题是多模态神经网络。
这里有一些我希望对我有很大帮助的存储库
https://github.com/prml615/prml
https://github.com/husseinmozannar/multimodal-deep-learning-for-disaster-response
https://github.com/guillaume-be/multimodal-avito
感谢 kbrose,他的建议使我想到了这种类型的架构。