在阅读了关于使用 CNN 进行对象检测的最新技术(R-CNN Faster R-CNN,YOLO,SSD ...)之后,我想知道是否有一种使用 RNN 或结合使用 CNN 和 RNN 来检测对象的方法检测??谢谢
是否有任何用于对象检测的 RNN 方法
是的,已经有很多尝试,但也许最值得注意的是Andrej Karpathy 和 Li Fei-Fei的论文中描述的方法,他们将 CNN 和 RNN 串联起来(CNN over image region + 双向 RNN + Multimodal RNN)并使用它来标记带有整个句子的场景。不过,这不仅仅是对象检测,因为它利用场景数据集及其描述来生成新的看不见的图像的自然语言描述。
另一个例子是Ming Liang 和 Xiaolin Hu 的方法,他们将 CNN 与 RNN 混合,并使用这种架构来更好地检测目标。正如 Ming 和 Xiaolin 在他们的论文(如上链接)中所解释的,RNN 用于改进 CNN:
一个显着的区别是 CNN 通常是一种前馈架构,而在视觉系统中,循环连接是丰富的。受这一事实的启发,我们通过将循环连接合并到每个卷积层中来提出用于对象识别的循环 CNN (RCNN)。
其实我不认为只用RNN做物体检测工作应该是一个好方法,因为RNN和CNN相比没有“感受野”的概念,我认为这应该是做视觉相关任务的关键点.
循环神经网络 (RNN) 是最先进的序列数据算法,长短期记忆 (LSTM) 网络是 RNN 的扩展。此方法可用于对象检测,以防检测视频或运动图像中的对象等。您可以尝试此https://github.com/tensorflow/models/tree/master/research/lstm_object_detection。它来自以下论文中提出的 Tensorflow 移动视频对象检测实现:Mobile Video Object Detection with Temporally-Aware Feature Maps (CVPR 2018)。论文链接:http: //openaccess.thecvf.com/content_cvpr_2018/papers/Liu_Mobile_Video_Object_CVPR_2018_paper.pdf
是的,有很多关于使用 RNN 进行对象检测的文献,它通常包括视频中的对象检测和跟踪或动作检测。
一些论文: