无需专门硬件即可确定平面和相机方向的算法

计算科学 图像处理 计算机视觉 3d
2021-12-03 03:03:25

我猜,谷歌的 ARCore苹果的 ARKit等现代增强现实平台似乎只能在移动设备上运行,因为它们的底层算法需要这些设备上通常可用的专用硬件(加速度计、陀螺仪等)。由于这种硬件在笔记本电脑/台式机上不可用,我这些库永远无法在移动平台上工作。

话虽如此,我想知道是否可以通过不需要此类专用硬件的算法来实现以下 AR/图像处理“功能

  • 图像或视频内的平面检测;
  • 图像或视频中相机视图的方向/角度

意思是,如果给我一个图像或视频(一组连续图像),我是否可以在没有专门硬件的情况下检测该媒体中的平面(例如,在服务器或 PC 上运行的 Linux 机器上)?方向/角度确定也是如此(意思是确定(x,y,z)图像/视频“域”内的相机坐标并确定其指向的角度)?

1个回答

您说的很对,增强现实从视频/图像分析与运动传感器数据的结合中受益匪浅。引自Apple ARKit:了解世界追踪:

为了在真实空间和虚拟空间之间建立对应关系,ARKit 使用了一种称为视觉惯性里程计的技术。此过程来自 iOS 设备运动感应硬件的信息与设备摄像头可见场景的计算机视觉分析相结合。ARKit 识别场景图像中的显着特征,跟踪视频帧中这些特征的位置差异,并将该信息与运动传感数据进行比较。结果是设备位置和运动的高精度模型。

因此,只有图像/视频肯定会减少算法可用的有用和多样化信息的数量。现在,您仍然可以选择为您的台式机提供从加速度计、陀螺仪等捕获的数据。这仍然完全公平,因为您可能没有直接使用 Linux 机器捕获视频。

现在,如果你想完全排除任何非视频信息,你又回到了经典和基本. 例如,参见OpenCV detection of plane objects 的文档