去除图像合成中的光晕效果:Google Meet 的解决方案

信息处理 图像处理 计算机视觉 图像分割 图像抠图
2022-01-24 18:11:46

想了解 google meet 在构图时如何消除光环效应。他们在博客中简要描述了他们的方法:

动画片 “模糊着色器通过与分割掩码值成比例地调整每个像素的模糊强度来模拟散景效果,类似于光学中的混淆圆 (CoC)。像素按其 CoC 半径加权,因此前景像素将不会渗入背景。我们为加权模糊实现了可分离滤波器,而不是流行的高斯金字塔,因为它消除了人周围的光晕伪影。为了提高效率,模糊以低分辨率执行,并与输入帧混合原始分辨率。”

我面临着一个类似的问题,原始图像的背景颜色进入新的构图,如下所示,产生光晕效果:

光环

我熟悉高斯金字塔,但不确定它在这种情况下有何帮助以及可分离过滤器如何产生影响。谁能解释如何解决这个问题?

1个回答

根据我在您的参考资料中读到的内容,我会说

这个解决方案的关键部分是计算掩码的模型,如果你有一个很好的起点的话。

第二个重要的特点是它使用了位置相关的过滤器,过滤器是用掩码值的长度参数化的。用他们的话来说,避免前景在前景中流血。他们不知道到底是怎么回事,但我会说从掩码中的参数,对于前景来说很大,而对于背景来说很小。ri,j

可分离过滤器的可能实现是

vi,j=kf(kri,j)xik,jkf(kri,j)

yi,j=kf(kri,j)vi,jkkf(kri,j)

你可以自由地使用标准化因子。

使用可分离滤镜意味着您对多分辨率图像使用两个 1D 滤镜而不是小型 2D 滤镜。这在内存方面可能会更好。它可以用图像的两个副本来实现,被写入,第二个等式更新图像xvxi,j

其他可能的优势,因为过滤器是为每个像素单独计算的。的可分离过滤器需要次评估,而 2D 过滤器将需要评估,并且在上面的实现中,由于水平和垂直过滤器是相同的,因此只需要次评估。N×MN+MM×NN

拥有依赖于蒙版的过滤器对于通过前景(人脸)的失真很小很重要。