寻找合适的算法来压缩附近位置的许多低分辨率图像

人工智能 自动编码器 主成分分析
2021-11-03 00:18:20

我有一个优化问题,我正在寻找合适的算法来解决。

我所拥有的:在特定区域内的规则网格上拍摄的大量低分辨率 360 度图像。这些图像中的每一个都是非常稀疏的采样,并且这 360 个图像中的每一个都有一个准确的 XYZ 位置分配其中心。有数以百万计的这些小图像,近距离的图像集群显然共享大量信息,而距离较远的图像可能完全不同。

我想做的是压缩这些小的 360 度图像。

如果两个 360 度图像彼此靠近,它们可以通过将其投影到一个有限距离的球体上然后移动该球体来相互“扭曲”(因此,近距离的 360 度图像可以很好地近似于另一个 360 度图像,当它已经被扭曲了)。

基于这个想法,我想压缩这些小的低分辨率 360 图像,将它们替换为:

  • N(N 大约是 2-5)索引到 M(M 大约是 50-500)个不同“原型”图像(可能比低分辨率 360 图像分辨率更高)的存档中,每个图像都有一个 XZY 位置分配加上半径
  • N 个混合权重

这样,如果我想重建其中一个小的、稀疏采样的 360 度图像,我会获取为该图像存储的 N 个索引,从存档中查找相应的原型图像,根据存档图像的半径和增量扭曲它们存档 XZY 和压缩图像 XYZ 位置的向量,然后基于 N 个混合权重混合 N 个原型图像(并且可能在原型图像中按比例缩小是更高的分辨率)

我想这会进入特征面的方向,但是对于特征面,每个压缩面都有一个为每个特征面存储的权重,而我希望每个压缩球体只有 N 个非零权重。

所以我的输入是:很多小的 360 度图像加上每个 XYZ 位置

我的输出应该是:

  • M 个“原型”图像的存档,每个图像都分配了一个 XYZ 位置和一个投影半径
  • 所有压缩球体,每个球体压缩为 N 个索引和 N 个权重

这似乎是一些非线性最小二乘问题,但我想知道是否有人可以指出我如何解决这个问题的正确方向?

作为一种完全替代的方法,我还研究了球谐函数,但是对于那些我只能在 l=6 处获得足够的高频细节,这需要 36 个系数,这太多了,而且解压缩速度也太慢。

0个回答
没有发现任何回复~