图像的不同表示形式及其目的

信息处理 图像处理 计算机视觉 参考请求
2022-01-04 05:49:36

我正在对图像处理和计算机视觉中使用的不同图像表示进行简要概述。对于每个表示,我都希望(至少)获得以下信息:

  • 代表家族的名称
  • 表示族的一些基本特征(表示中保留了哪些信息)
  • 他们通常用于什么任务
  • 这个家族有哪些不同的具体表现类型
  • 不同表示参考及其用法的参考

除了我已经知道/有关于它的信息的表示(作为下面列出的答案)之外,我最感兴趣的是压缩域(例如傅立叶域、小波),但了解其他表示,例如基于边缘的或其他任何表示我还不知道会不会很棒。

如果可能的话,我将不胜感激,如果您能提供参考(例如,提出该表示的文章,或解释该表示的一本书),如reference-request标签所示。


免责声明

我知道通常不鼓励列表问题,但是我们在分段阈值方面有类似的东西,而且效果很好。

如果我已经提供的信息更适合作为答案,我可以将其编辑并发布为答案。另外,我想这对于社区维基来说可能是一个很好的问题。

3个回答

这些是我已经收集信息的一些表示,所以我将在此处列出它们。

  1. 基于像素的表示

    • 最简单的定义,元素之间的简单邻域关系(4,8,6-connectivity (1)
    • 只有每个元素的本地信息
    • 表示中的大量元素(用于显示图像,具有大量噪声/细节的应用程序:例如医学成像)
  2. 基于块的表示

  3. 基于区域(有时也是超像素表示

    • 非矩形区域;通过对相似和连接的像素进行分组而形成,通常使用过分割
    • 区域之间的邻接信息(通常为 RAG(区域邻接图(8))或组合图(9)
    • 归一化切割(10),基于图的分割(例如,Felzenszwalb 和 Huttenlocher (11)),基于分水岭的 ( (12) , (13) )
    • 在保持准确性的同时减少了表示中的元素数量
    • 用于对象检测和分割,但必须考虑多个区域的不同联合
  4. 分层表示

    • 提出基于区域的表示的最可能的区域联合
    • 不同尺度的图像表示
    • 只需要检查表示中存在的区域,可以按比例缩小
    • 最小/最大树 ( (14) , (15) ), 形状树 ( (16) , (17) ), 二叉分区树(18) ,α-树(19),...
    • 用于:对象检测(20)、视频分割(21)、图像分割和滤波 ( (22)(23) )、图像简化(24)

您可以添加矢量图形表示(与光栅表示相反,主要用于计算机图形学):

  • 由平滑的自由曲线(由有限数量的控制点定义)表示的区域轮廓笔划。

  • 没有像素

  • 概念上类似于CAD文件。

  • 恒定颜色颜色渐变、不透明或透明的区域

  • 典型格式:SVGPostScript

  • 用于与分辨率无关的高质量图形。与图像矢量化相关。

  • 建议将此表示用于摄影图像

您还可以根据抽象级别对表示进行分类。

低级表示

这些表示从基于像素的表示开始,其中直接使用像素亮度或颜色。

为什么这些表示还不够?在计算机视觉中,我们对观察到的场景的物理量感兴趣,例如距离、反照率等,或者对物体的识别感兴趣。基于像素的表示以非常间接的形式包含此信息。我们应该从原始图像中提取所需的不变量,即将图像转换为某种不同的表示。

在图像上获得一些有用操作的最直接方法是将它们表示为数学对象。图像的数学表示有两种常见类型。它们是功能表示随机模型函数表示可用于应用空间变换(例如缩放、旋转、仿射或投影)和改变函数基础(傅里叶和小波变换等)。随机模型(例如马尔可夫场)可用于提取视觉场景的统计特性。

中间表示

不幸的是,很难在数学表示中实现图像变化的复杂因素的不变性。通常,从可变图像内容中抽象出来更容易。例如,我们可以简单地使用这些表面的边界作为图像的不变描述,而不是恢复可见表面的真实反射率图。这导致轮廓级表示可以局部或全局提取轮廓。在第二种情况下,图像将被表示为区域。轮廓也可以表示为连接的链或分离的边缘点。除了一定程度的不变性之外,这些表示还有助于减少数据维数。也就是说,如果图像是二维信号,那么轮廓就是一维信号。

可以进一步增加基本表示元素(像素->轮廓->...)的不变性和唯一性。结构表示是这个抽象的下一步。它们的基本元素是直线、拐角、圆弧等。还可以构建复杂的结构元素,包括不同类型的连接点和几何图形。矢量图形表示属于中级表示,但结构或轮廓图像描述是从计算机视觉中的原始图像推导出来的,而计算机图形则是相反的过程。

但是,这种抽象会导致大量数据丢失。在实践中,特征点的使用频率更高。它们类似于结构元素(它们可以代表角、斑点中心或线段等),但它们不一定由轮廓构成,更重要的是,它们增加了局部特征,使它们更具信息性。

语义(或基于知识)表示

最高级别的图像表示是语义表示,其中图像区域用有意义的标签(单词)标记。您还可以考虑将中间表示作为填补像素级和语义级表示之间语义鸿沟的一种方式。目前,这一差距还远未完全填补。

还有两种类型的多级或分层表示计算机视觉系统可以分析不同抽象或分辨率级别的图像。多分辨率表示可以应用于任何抽象级别的图像描述。

应该指出的是,所有这些表示也有神经生理学类似物。

还有其他类型的表示(颜色和纹理表示,3D 图像的特定表示等)。

使用不同表示的一些随机(且相当老的)示例

功能表示

Essannouni L.、Ibn-Elhaj E.、Aboutajdine D. 使用新的稳健相关性进行快速跨光谱图像配准 // J. 实时图像处理。2006. V. 1. № 2. P. 123–129。

Lan ZD., Mohr R., Remagnino P. 偏相关稳健匹配 // Proc. 第六届英国机器视觉会议。1995. P. 651-660。

Goecke R.、Asthana A.、Pettersson N.、Petersson L. 使用傅里叶-梅林变换的视觉车辆自运动估计 // IEEE Trans。智能汽车研讨会。2007. 第 450-455 页。

随机模型

Chan TF、Shen J. 和 Vese L. 图像处理中的变分 PDE 模型 // 注意 Amer。数学。社会党。2003. V. 50. P. 14-26。

Zhu SC,Wu YN,Mumford DB 过滤器、随机场和最大熵 (FRAME):迈向纹理建模的统一理论 // Int'l J. Computer Vision。1998. V. 27. No. 2. P. 1-20。

Geman S.、Geman D. 随机松弛、吉布斯分布和图像的贝叶斯恢复//IEEE Trans。帕米。1984. V. 6. P. 721–741。

Shen, L., Bai, L.:人脸识别的 Gabor 小波综述 // 模式分析和应用。2006. V. 9. P. 273–292。

边缘和轮廓

Olson CF,Huttenlocher D. 通过匹配定向边缘像素自动识别目标 // IEEE Trans。关于图像处理。1997. V. 6. No 1. P. 103–113。

Olson CF Hausdorff 匹配的概率公式 // Proc. IEEE 会议。关于计算机视觉和模式识别。1998. 第 150-156 页。

Yang CHT, Lai SH, Chang LW 将 Hausdorff 距离与归一化梯度匹配相结合的混合图像匹配 // 模式识别。2007. V. 40. № 4. P. 1173–1181。

** 结构表示 **

Parida L.、Geiger D. 和 Hummel R.. 连接点:检测、分类和重建 // IEEE Trans. 模式分析和机器智能。1998. V. 20. No. 7. P. 687-698。

Noronha S., Nevatia R. 从多个航拍图像中检测和建模建筑物//IEEE Trans。帕米。2001. V. 23. No. 5. P. 501-518。

Lutsiv V.、Malyshev I.、Potapov A. 航空图像配准的分层结构匹配算法//Proc。间谍。2003. V. 5238. P. 164–175。

Efrat A.,Gotsman C. 使用圆形基准点的亚像素图像配准 // Int。J.比较。几何。和应用程序。1994. V. 4, No. 4. P. 403–422。

Lagunovsky D. 和 Ablameyko S. 灰度对象识别中的直线原语提取//模式识别。信件。1999. V. 20. P. 1005–1014。

关键点

Lowe D. 从局部尺度不变特征进行对象识别 // Proc. 诠释。会议。关于计算机视觉。1999. P. 1150–1157。

Baumberg A. 跨广泛分离视图的可靠特征匹配 // Conf。关于计算机视觉和模式识别。2000. P. 774–781。

// 现在有很多关于这个主题的论文

基于知识的系统

Linying S.,Sharp B.,Chibelushi C. 基于知识的图像理解:基于规则的 X 射线分割生产系统 // Int。会议。关于企业信息系统 (ICEIS)。2002. 第 530-533 页。

Liedtke C.-E.、Buckner J.、Grau O.、Growe S.、Tonjes R. AIDA:基于知识的遥感数据解释系统//3d 机载遥感会议和展览。1997. V. 2. P. 313–320。

Growe S.,Tonjes R. 基于知识的自动图像配准方法 // Proc。诠释。会议。关于图像处理。1997. V. 3. P. 228–231。

Crevier D., Lepage R. 基于知识的图像理解系统:调查//比较。视觉和图像理解。1997. V. 67. № 2. P. 161–185。