检测图像中的操作(例如,照片复制粘贴)

机器算法验证 机器学习 神经网络 监督学习 图像处理 操纵检测
2022-03-06 15:50:12

我正在寻找一种解决方案来检测使用 Photoshop 等工具处理的照片。首先,我想检测复制粘贴的图像。

知道如何检测通过在原始照片顶部粘贴另一张照片来操纵的照片吗?

例如,检测一张身份证照片,其中一张人脸照片粘贴在原始人脸的位置。

为了让它变得更加困难,让我们假设我们在将面部粘贴到位后对图像进行下采样。这将平滑粘贴图像的锐利边缘。

更新1:

1)似乎压缩技术以及直接的 cnn 训练不起作用。

2)是一个相关的帖子

3),是照片取证方法的总结。

更新 2:

由于这里没有真正的进展,我开始赏金。

更新 3:

感谢赏金和@machine-epsilon,我们有一个有效的答案!

更新 4:

由于这篇论文是在 ICCV2019 上发表的,所以我就在这里补充一下。

1个回答

一般来说,很难检测到篡改,这是数字图像取证的一个完整研究领域。我将尝试总结一些解决这个问题的关键方法。您所说的有时称为图像伪造或图像篡改。而复制粘贴操作称为图像合成或图像拼接。

从实际的角度来看,这个问题有许多不同的变体:

  • 在图像中添加一些东西 (来源)在此处输入图像描述
  • 从图像中删除某些东西

在此处输入图像描述 在此处输入图像描述 (来源)

  • 改变图像的全局属性 (来源)在此处输入图像描述
  • 使用一个图像与多个图像,例如克隆工具的使用:( 来源)在此处输入图像描述
  • 检测图像是否被篡改与定位篡改
  • 确定篡改类型

根据您是否参与审查视频监控录像、在法庭案件中检查单张照片或运行照片共享网站,您解决问题的方式将大不相同。如果问题是对抗性的并且图像处理可能已被隐藏,则问题会更加困难。

另一点是图像中发生了很多合法的后处理。举一个极端的例子,新的数码相机引入了散景和模糊效果,即使这在最终图像中并不存在。因此,如果您对检测图像拼接之外的更一般类型的图像处理感兴趣,了解相机和应用程序中发生的事情会很有帮助。

在相机上获取数字图像如下:

场景成像传感器相机后处理存储

在哪里

  • 场景是图像的外部几何
  • 图像传感器是将光转换为电荷的 CCD 或 CMOS 光电探测器
  • 后处理是相机将电荷转换为数字信号的地方,并采取几个校正步骤来考虑相机几何形状、颜色校正等。
  • storage of 是将完成的图像写入内存的位置。通常它会被转换为压缩格式,例如 JPEG,并与相关元数据一起存储。

通过考虑采集过程,您可以看到篡改会导致图像不一致的几个可能点:

  • 物理场景几何
  • 传感器和采集噪声
  • 后处理和压缩伪影
  • 元数据

元数据。一个显而易见的事情是与图像相关联的元数据,通常它可以包含相机信息、时间信息和可能的位置信息。所有这些都可以识别不一致。如果您的图像中有自由女神像,但 GPS 坐标显示您在南极洲的麦克默多站,那么该图像可能是伪造的。但是元数据本身很容易更改或剥离,因此这是不可靠的。

传感器噪音. 传感器噪声对于数码相机来说可能非常独特,以至于它可以用来对不同相机型号中的传感器进行指纹识别。数码相机中的传感器引入了几种不同类型的噪声,但一种非常有用的噪声是光响应不均匀性 (PRNU)。这是与传感器噪声和后处理相关的指纹,它对多种图像处理转换具有鲁棒性,包括有损压缩,例如下采样。您可以跨图像中的​​块计算 PRNU,并且从不同的相机引入新元素会在图像中引入和不一致。这似乎工作得很好,但如果你知道相机类型,效果最好。仍然可以从单个图像中估计 PRNU。滤色器阵列插值也应该在整个图像中保持一致,

压缩和处理工件。所有图像处理技术都会在图像统计上留下痕迹。数字图像通常通过 JPEG 压缩,JPEG 使用离散余弦变换压缩事物。此过程会在图像统计信息中留下痕迹。一种有趣的技术是检测 JPEG 重影,即通过 DCT 压缩两次的图像部分。正如您所提到的,我相信下采样会消除其中一些伪影,尽管下采样本身是可以检测到的。

场景一致性。从单一来源获取的图像应具有一致的视角(消失点)和照明。此外,很难用合成图像伪造这些伪造的这些。我建议在此处查看 (Redi et al., 2011) 以了解更多详细信息。

最后,如果您说“好吧,我放弃了。有太多可能的方法,我只想要一个检测器”,您可以查看最近的 ICCV 论文,他们在其中训练检测器以查找图像被操纵的位置。这可能会让您对训练黑盒模型有更多的了解。

Bappy、Jawadul H. 等人。“利用空间结构来定位操纵的图像区域。” IEEE 计算机视觉和模式识别会议论文集。2017 年。

数据集/竞赛:

Casia V1.0和V2.0(图像拼接) http://forensics.idealtest.org/

覆盖(复制移动操作) https://github.com/wenbihan/coverage

2018 年媒体取证挑战赛(各种操作,需要注册) https://www.nist.gov/itl/iad/mig/media-forensics-challenge-2018

IEEE IFS-TC 图像取证挑战数据集。(网站目前不可用)

提高(原始的、未处理的图像以及相机元数据) http://mmlab.science.unitn.it/RAISE/index.php

调查:

Redi、Judith A.、Wiem Taktak 和 Jean-Luc Dugelay。“数字图像取证:初学者手册”。多媒体工具和应用程序 51.1 (2011): 133-162。 https://pdfs.semanticscholar.org/8e85/c7ad6cd0986225e63dc1b4264b3e084b3f9b.pdf

弗里德里希,杰西卡。“数字图像取证。” IEEE 信号处理杂志 26.2 (2009)。 http://ws.binghamton.edu/fridrich/Research/full_paper_02.pdf

法里德,汉尼。数字图像取证:数字图像和视频取证调查课程的讲义、练习和 matlab 代码。 http://www.cs.dartmouth.edu/farid/downloads/tutorials/digitalimageforensics.pdf

基什内尔,马蒂亚斯。关于数字图像取证和反取证的注释。迪斯。达特茅斯学院,2012。http ://ws.binghamton.edu/kirchner/papers/image_forensics_and_counter_forensics.pdf

梅蒙,纳西尔。“照片取证——一张照片比眼睛看到的要多。” 数字水印国际研讨会。施普林格,柏林,海德堡,2011。

Mahdian、Babak 和 Stanislav Saic。“关于识别图像伪造的盲法的参考书目。” 信号处理:图像通信 25.6 (2010): 389-399。

图像篡改检测和定位(包括最近的深度学习参考) https://github.com/yannadani/image_tampering_detection_references