映射两个相似视频之间的时间/场景差异

信息处理 Python 互相关 视频处理
2022-02-11 01:07:16

目标:

给定两个来自系列剧集但格式不同的视频(例如一个蓝光/一个电视),映射两者之间的时间差异(哪些场景不在两者之一中)并能够补偿一些字幕之间的滞后版本。

当前状态:

由于这个问题(两个相似视频之间的映射时间差),我开始了一些事情,并开始构建一个 python 脚本,所以现在我可以将每个视频的每一帧转换为一个浮点值。

两个视频的一维信号

现在的问题是,我不知道如何检测你在图片中看到的那些滞后。我正在尝试一些可能与某些窗口的互相关,但我不确定我应该如何处理两个信号中添加的场景(这意味着这里的信号无法相关)。

问题:

你知道任何可以帮助我完成这个过程的算法/方法吗?

你知道这个线程中的用户(映射两个相似视频之间的时间差)的意思是“添加一个该长度的高斯,幅度作为映射的相位差(以适当的间隔)”?

谢谢你的帮助 !

1个回答

这是一本有趣的书,看起来你离得不远了!我认为您剩下要做的就是将其中一个信号分成多个区间(我们称之为信号 1),并将信号 1 的每个片段与整个信号 2 进行互相关。互相关中的峰值将指示在哪里信号 2 中该段的匹配最强。然后,您计算该段在信号 1 中的位置与其最强匹配在信号 2 中的帧之间的差异。

您提到的帖子中的第三步似乎是Kernel Density Estimation作者在信号1的每个段的中心放置了一个高斯。高斯的标准偏差,我假设是段长度的六分之一,高斯的幅度是帧差。高斯应该从时间 0 延伸到信号 2 的长度。然后他对所有的高斯求和以获得一个连续函数。

我认为如果您执行以下操作,您可以实现相同的效果:一旦您将帧差作为时间的函数,您可以将该函数与一个高斯函数进行卷积,该函数的标准偏差是您用于划分信号 1 的段长度的六分之一。

我希望这有帮助!