对于在 NIR 光谱范围内拍摄的图像,我可以使用标准计算机视觉技术吗?

信息处理 图像处理 计算机视觉 物体识别 局部特征 立体视觉
2022-02-22 19:57:57

我在计算机视觉方面相对较新,我需要一些关于在近红外 (NIR) 范围内拍摄的图像的一般可能性和缺点的建议。我花了很多时间研究这个问题,但我宁愿在行人检测人脸识别等领域找到具体的论文,但这些论文并没有完全回答我的问题。

背景是我必须为将用于物体检测任务的立体视觉系统选择相机和镜头。为了使系统对照明变化具有鲁棒性,我考虑了采用近红外光和主动照明的可行性NIR 带通滤波器。因此,仅在 NIR 光谱范围内工作。

我找到了有关远红外范围立体匹配的出版物,得出的结论是不可能获得密集的深度场。但是,我找不到与 NIR 范围相关的任何内容。这可能是因为它太明显了,但不幸的是,目前对我来说不是。

这就是为什么我特别想知道:

  • 如果可以对 NIR 光谱中拍摄的图像使用标准立体匹配算法,例如块匹配,那么是否有可能(当然取决于条件)获得密集的深度图。
  • 如果标准特征检测和描述技术(如 SIFT、HOG 等)在 NIR 光谱中产生类似的结果。
  • 如果用可见光图像训练的神经网络也能够检测 NIR 图像中的物体。(我知道这在某种程度上与前面的问题有关)

如果您能与我分享任何建议、个人经验、书籍/论文参考资料,我将不胜感激。

谢谢!

3个回答

我收集了来自伊士曼柯达的 Ron Gershon 的各种“材料”(例如成熟的棕色香蕉和沥青)的 170 个反射光谱。我相信它们是漫反射,对于完美的镜子来说为零。这是数据集中所有光谱的图:

反射光谱
图 1. 所有反射光谱

这是整个数据集中每个波长的反射率的平均值和标准偏差图:

反射光谱的平均值和标准偏差
图 2. 反射光谱的平均值和标准偏差

平均而言,反射率向红外线方向增加,红色有很多标准偏差,但标准偏差似乎在接近红外线方向减少。如果这种趋势继续下去,最好不要进入红外线太远,因为如果图案来自材料的镶嵌,那么反射率可能没有足够的偏差来观察物体中的图案。

较长的波长也会因次表面散射而产生更多的模糊

如果可以对 NIR 光谱中拍摄的图像使用标准立体匹配算法,例如块匹配,那么是否有可能(当然取决于条件)获得密集的深度图。

是的,有可能。Leap传感器的工作波长为 850 nm,它由两个广角相机组成,可在 3D 空间中(特别是)跟踪手部。相机的几何形状当然是固定的,但该设备仍然执行大量图像处理(在 NIR 图像上)以定位并将物理手的多个关键点与其内部模型相关联。

Leap 使用来自 3 个红外 LED 的反射光,这使其操作更接近于典型的可见光相机。使用立体视觉原理来推断深度,它必须至少沿扫描线进行像素匹配,以创建帧之间像素的对应关系。

Kinect 1 在 780nm 下运行,但它使用不同的原理。它投射已知图案并通过跟踪该图案的变形来感知深度。话虽如此,下面是使用不同方法对其在不同距离处的深度分辨率进行分析(Kinect 2 的波长为 850 nm,使用了另一种技术(第 3 节))

但是,这个问题有点不完整。要问的关键问题是“在距相机一定距离然后使用该数字更好地集中您的技术搜索。d

如果标准特征检测和描述技术(如 SIFT、HOG 等)在 NIR 光谱中产生类似的结果。

是的,他们这样做。正如@Tomtana 所提到的,如果有纹理,那么就会有要锁定的功能。话虽如此,这些算法的性能可能会根据与相机的距离而变化。

如果用可见光图像训练的神经网络也能够检测 NIR 图像中的物体。(我知道这在某种程度上与前面的问题有关)

根据如何完成,答案将(大部分)是肯定的。我假设训练灰度图像并通过一组特征识别 IR。因此,如果要仔细选择特征,那么应该有可能获得稳健的匹配。这里的信息内容存在明显的问题,因为 IR 看到的东西看不见(反之亦然),所以,我们已经在某种程度上接受了较低水平的性能,仅仅是因为图像不一样。

如果您在 IR 中拍摄人像,眼睛可能会呈现为两个明亮的圆盘,并且虹膜的细节很少。典型的可见图像当然是完全不同的。因此,必须仔细选择特征,以平衡两种类型图像中信息内容的差异。

希望这可以帮助。

据我所知,在该领域使用常规图像处理技术是一种常见的做法。事实上,我最近完成了这个领域的一个项目。

如果可以对 NIR 光谱中拍摄的图像使用标准立体匹配算法,例如块匹配,那么是否有可能(当然取决于条件)获得密集的深度图。

是的,我认为是的,因为与远红外图像相比,近红外图像具有很多纹理,你可能可以(它与图像的红色波段非常相似),例如人们这样做:

repository.upenn.edu/cgi/viewcontent.cgi?article=1115&context=cis_reports

如果标准特征检测和描述技术(如 SIFT、HOG 等)在 NIR 光谱中产生类似的结果。

我想是的,因为它有很多纹理,只要有纹理就是角落、边缘和所有类型的特征点,您可以提取这些特征点以进行进一步处理,请查看:

在此处输入链接描述

我认为您最好也看看参考书,例如:

遥感中的机器视觉和高级图像处理:

https://books.google.com/books?isbn=3642601057

图像处理的遥感、模型和方法:

https://books.google.com/books?isbn=0126289816

希望你得到你的答案。