检测森林图像中的踪迹

信息处理 图像处理 计算机视觉
2021-12-21 22:12:43

有没有人知道任何研究/论文/软件用于识别森林场景图像中的轨迹(作为一条线或点对点曲线)(从站在小径某处的相机的角度来看)?

我正在尝试找到一种可以拍摄如下图像的算法:

替代文字

并制作一个面具,识别可能的“踪迹”,例如:

替代文字

如您所见,原始图像有点模糊,这是有目的的。图像源不能保证完美对焦,所以我需要能够处理合理数量的噪点和模糊。

我的第一个想法是应用高斯模糊,并将图像分割成块,比较相邻块以寻找明显的颜色差异(表示轨迹“边缘”)。但是,我很快意识到阴影和其他照明变化很容易使这种情况消失。

我正在考虑提取 SURF 特征,但只有在图像非常清晰且光照一致的情况下,我才使用 SURF/SIFT 取得了成功。

我还尝试将图像和掩码缩小到更小的尺寸(例如 100x75),将它们转换为 1xN 向量,并使用它们来训练基于FANN的神经网络(其中图像是输入,掩码是所需的输出)。即使在这么小的尺寸下,有 1 个隐藏层,其尺寸是输入向量的 75%,训练需要 6 个小时,仍然无法预测测试集中的任何掩码。

任何人都可以就该主题提出任何其他方法或论文吗?

4个回答

我认为您源图像中没有足够的信息来生成蒙版图像。您可以从对颜色进行分割开始,即绿色不是尾迹,灰色/棕色是。但是,“轨迹边界”上的灰色/棕色区域未在您的蒙版中表示。(请参阅源图像的左下象限。)

您提供的掩码暗示了源图像中不明显的结构约束:例如,您的轨迹可能具有固定宽度 - 然后您可以使用该信息来约束模式识别器返回的初步掩码。

继续结构的主题:轨迹是否与其他轨迹合并?小径是否用某些土壤/砾石特征划定?作为人类(在模式识别方面相当出色!),我受到左下象限中显示的特征的挑战:我看到灰色/棕色区域,我不能将其视为“轨迹”。如果我有更多信息,也许我可以最终确定地这样做:一张地图和一个粗略已知的位置,在这条小路上的个人经历,或者可能导致这一点的一系列图像——如果识别器“知道”,也许这个观点就不那么模糊了“是什么导致了这一幕。

在我看来,图像集合是最有趣的方法。继续这一思路:一张图像可能无法提供足够的数据,但全景视图可能会消除场景的歧义。

它本身可能还不够,但由于其中一个问题与照明变化有关,因此阴影去除预处理步骤可能会有所帮助。我正在考虑的技术在以下论文中进行了描述:

“关于从图像中去除阴影”,GD Finlayson、SD Hordley、C. Lu 和 MS Drew,IEEE 模式分析和机器智能 (PAMI),第 28 卷,第 1 期,2006 年 1 月,第 59 页- 68. http://www.cs.sfu.ca/~mark/ftp/Pami06/pami06.pdf

该过程的第一部分产生一个光照不变的灰度图像,这可能是您在这种情况下想要的。这是他们在论文中给出的示例的截图:

阴影去除
(来源:datageist.com

事实上,更进一步地生成“色度”图像可能是您清晰地区分活叶和死叶所需要的。再一次,论文中的一个例子:

色度
(来源:datageist.com

然而,问题是相机需要先校准。假设这是可能的,他们描述的表示的某种组合可能会使您使用的其他方法更有效。

没有一种算法可以神奇地检测随机图像中的轨迹。您将需要实现一个基于机器学习的例程并“训练”它来检测轨迹。在不涉及太多细节的情况下,这里是您将在监督学习方法中做什么的粗略概述。

  1. 您将需要一组“训练示例”,我的意思是几张不同环境中的小径图片,您(主管)在其中标出了什么是“小径”以及什么是背景“森林”。您将图像分成更小的部分(通常为 8x8),并通过对块进行 DCT(离散余弦变换)将其转换为“特征空间”。在这种情况下,每个块的 DCT 给你一个 64 点的“特征向量”。
  2. 定义特征空间X, 特征集x(你的 64 点特征向量的一个子集)和一个类空间Y有课y1=traily2=forest,你从你的训练集计算:

    • 类条件分布
      • PX|Y(x|trail),当类别为时特征的条件密度trail.
      • PX|Y(x|forest),当类别为时特征的条件密度forest.
    • 类概率或先验
      • PY(trail), 找到一个的概率trail在一个街区
      • PY(forest), 找到一个的概率forest在一个街区
  3. 有了这个,您可以测试您的图像(再次将其分解成更小的部分)并计算后验概率。使用贝叶斯的决策理论,您可以定义您的二元(在这种情况下)选择标准,例如

    y~i(x)=argmaxyiPX|Y(x|yi) PY(yi)
    您将每个块分配给具有最高后验概率的类。这将导致您的二进制掩码。

请注意,这是对该方法的非常简化的概述。有几件事情需要考虑,其中最重要的是为您的问题选择正确的功能集。您还可以做更复杂的事情,例如使用混合模型和基于内核的密度估计,但所有这些都过于详细且耗时,无法写出答案。

为了激励和确认这种方法值得尝试,这是我很久以前作为课程作业所做的一个例子,这与你想要实现的目标非常相似。目的是从背景植被中检测动物(左图)。右图为“学习”区分前景和背景后得到的二值掩码。

在此处输入图像描述 在此处输入图像描述

要了解有关机器学习的更多信息,您可能需要查看一些教科书。该领域众所周知且经常推荐的教科书之一是:

T. Hastie、R. Tibshirani 和 J. Friedman,统计学习的要素:数据挖掘、推理和预测。第二版,施普林格出版社(2008 年)

现在可以在提供的链接上以免费 PDF 的形式获得。另一本不错的书是:

RO Duda,PE Hart 和 DG Stork,模式分类,第 2 版,John Wiley & Sons (2001)