检测恶意 GIF

数据挖掘 机器学习 Python 神经网络 深度学习 图像分类
2021-10-09 16:17:57

我正在阅读这篇文章,讨论一种有针对性的网络欺凌形式,其中包括通过 Twitter 向癫痫患者发送闪烁的图像。

我想知道是否有办法检测这些恶意 GIF?我首先认为它是一个分类问题,但实际上内容可以是任何东西——我们需要检测的是具有特定频率的闪光灯。

关于如何解决这个问题的任何想法?可以使用哪种技术?

3个回答

GIF 只是一系列图像

假设您只需要找到这些图像的正确量化/合并即可显示 GIF。当您显示单个 GIF 时,它将是不同图像的集合,其中闪烁的图像的像素强度会突然变化,这正是您想要在一组图像 = 恶意的 GIF 中捕获的内容。你只需要从那里开始二进制分类。

看看这里

首先,这似乎真的是一个信号处理问题。谷歌快速搜索给出:自动检测致癫痫视频内容主要工作是关于检测图像中剧烈强度变化的信号处理技术。基本上,他们创建了一个时间序列,表示连续帧之间强度的总体差异,并表明它通常足以检测致癫痫内容。

他们给出了一个例子,他们能够在不到一秒的时间内测量 4 次闪光,这高于国际建议中定义的每秒 3 次闪光的阈值(ITU-R BT.1702 日内瓦建议书,国际电信联盟,2005 年):

                      闪光检测

从其他来源来看,似乎可以改进闪光检测部分(通过傅里叶分析来检测尖峰,通过应用掩码去除图像的低运动部分......等等)。我不确定整个过程(这是检测系统发育内容的最佳方法吗?3 次闪光阈值是否最佳?)可以使用 ML 显着改善,因为(1)在小时间窗口中检测 >X 峰值似乎很容易且足够, (2) 机器学习需要大量的视频集合,并且 (3) 收集有关癫痫诱发的基本事实可能非常困难(而且非常不道德)。但这为您提供了如何构建功能的起点,如果您想这样做的话。

对于机器学习问题,你要做的第一件事就是定义问题。

要解决这个问题,您可以定义什么是恶意 GIF(定义频率并计算出现率......)或制作两个数据集,一个包含好 gif,另一个包含恶意 gif。然后你可以尝试做一个机器学习分类问题,然后评估结果。