您还可以根据抽象级别对表示进行分类。
低级表示
这些表示从基于像素的表示开始,其中直接使用像素亮度或颜色。
为什么这些表示还不够?在计算机视觉中,我们对观察到的场景的物理量感兴趣,例如距离、反照率等,或者对物体的识别感兴趣。基于像素的表示以非常间接的形式包含此信息。我们应该从原始图像中提取所需的不变量,即将图像转换为某种不同的表示。
在图像上获得一些有用操作的最直接方法是将它们表示为数学对象。图像的数学表示有两种常见类型。它们是功能表示和随机模型。函数表示可用于应用空间变换(例如缩放、旋转、仿射或投影)和改变函数基础(傅里叶和小波变换等)。随机模型(例如马尔可夫场)可用于提取视觉场景的统计特性。
中间表示
不幸的是,很难在数学表示中实现图像变化的复杂因素的不变性。通常,从可变图像内容中抽象出来更容易。例如,我们可以简单地使用这些表面的边界作为图像的不变描述,而不是恢复可见表面的真实反射率图。这导致轮廓级表示。可以局部或全局提取轮廓。在第二种情况下,图像将被表示为区域。轮廓也可以表示为连接的链或分离的边缘点。除了一定程度的不变性之外,这些表示还有助于减少数据维数。也就是说,如果图像是二维信号,那么轮廓就是一维信号。
可以进一步增加基本表示元素(像素->轮廓->...)的不变性和唯一性。结构表示是这个抽象的下一步。它们的基本元素是直线、拐角、圆弧等。还可以构建复杂的结构元素,包括不同类型的连接点和几何图形。矢量图形表示属于中级表示,但结构或轮廓图像描述是从计算机视觉中的原始图像推导出来的,而计算机图形则是相反的过程。
但是,这种抽象会导致大量数据丢失。在实践中,特征点的使用频率更高。它们类似于结构元素(它们可以代表角、斑点中心或线段等),但它们不一定由轮廓构成,更重要的是,它们增加了局部特征,使它们更具信息性。
语义(或基于知识)表示
最高级别的图像表示是语义表示,其中图像区域用有意义的标签(单词)标记。您还可以考虑将中间表示作为填补像素级和语义级表示之间语义鸿沟的一种方式。目前,这一差距还远未完全填补。
还有两种类型的多级或分层表示。计算机视觉系统可以分析不同抽象或分辨率级别的图像。多分辨率表示可以应用于任何抽象级别的图像描述。
应该指出的是,所有这些表示也有神经生理学类似物。
还有其他类型的表示(颜色和纹理表示,3D 图像的特定表示等)。
使用不同表示的一些随机(且相当老的)示例
功能表示
Essannouni L.、Ibn-Elhaj E.、Aboutajdine D. 使用新的稳健相关性进行快速跨光谱图像配准 // J. 实时图像处理。2006. V. 1. № 2. P. 123–129。
Lan ZD., Mohr R., Remagnino P. 偏相关稳健匹配 // Proc. 第六届英国机器视觉会议。1995. P. 651-660。
Goecke R.、Asthana A.、Pettersson N.、Petersson L. 使用傅里叶-梅林变换的视觉车辆自运动估计 // IEEE Trans。智能汽车研讨会。2007. 第 450-455 页。
随机模型
Chan TF、Shen J. 和 Vese L. 图像处理中的变分 PDE 模型 // 注意 Amer。数学。社会党。2003. V. 50. P. 14-26。
Zhu SC,Wu YN,Mumford DB 过滤器、随机场和最大熵 (FRAME):迈向纹理建模的统一理论 // Int'l J. Computer Vision。1998. V. 27. No. 2. P. 1-20。
Geman S.、Geman D. 随机松弛、吉布斯分布和图像的贝叶斯恢复//IEEE Trans。帕米。1984. V. 6. P. 721–741。
Shen, L., Bai, L.:人脸识别的 Gabor 小波综述 // 模式分析和应用。2006. V. 9. P. 273–292。
边缘和轮廓
Olson CF,Huttenlocher D. 通过匹配定向边缘像素自动识别目标 // IEEE Trans。关于图像处理。1997. V. 6. No 1. P. 103–113。
Olson CF Hausdorff 匹配的概率公式 // Proc. IEEE 会议。关于计算机视觉和模式识别。1998. 第 150-156 页。
Yang CHT, Lai SH, Chang LW 将 Hausdorff 距离与归一化梯度匹配相结合的混合图像匹配 // 模式识别。2007. V. 40. № 4. P. 1173–1181。
** 结构表示 **
Parida L.、Geiger D. 和 Hummel R.. 连接点:检测、分类和重建 // IEEE Trans. 模式分析和机器智能。1998. V. 20. No. 7. P. 687-698。
Noronha S., Nevatia R. 从多个航拍图像中检测和建模建筑物//IEEE Trans。帕米。2001. V. 23. No. 5. P. 501-518。
Lutsiv V.、Malyshev I.、Potapov A. 航空图像配准的分层结构匹配算法//Proc。间谍。2003. V. 5238. P. 164–175。
Efrat A.,Gotsman C. 使用圆形基准点的亚像素图像配准 // Int。J.比较。几何。和应用程序。1994. V. 4, No. 4. P. 403–422。
Lagunovsky D. 和 Ablameyko S. 灰度对象识别中的直线原语提取//模式识别。信件。1999. V. 20. P. 1005–1014。
关键点
Lowe D. 从局部尺度不变特征进行对象识别 // Proc. 诠释。会议。关于计算机视觉。1999. P. 1150–1157。
Baumberg A. 跨广泛分离视图的可靠特征匹配 // Conf。关于计算机视觉和模式识别。2000. P. 774–781。
// 现在有很多关于这个主题的论文
基于知识的系统
Linying S.,Sharp B.,Chibelushi C. 基于知识的图像理解:基于规则的 X 射线分割生产系统 // Int。会议。关于企业信息系统 (ICEIS)。2002. 第 530-533 页。
Liedtke C.-E.、Buckner J.、Grau O.、Growe S.、Tonjes R. AIDA:基于知识的遥感数据解释系统//3d 机载遥感会议和展览。1997. V. 2. P. 313–320。
Growe S.,Tonjes R. 基于知识的自动图像配准方法 // Proc。诠释。会议。关于图像处理。1997. V. 3. P. 228–231。
Crevier D., Lepage R. 基于知识的图像理解系统:调查//比较。视觉和图像理解。1997. V. 67. № 2. P. 161–185。