ARKit 的面部追踪是如何工作的?

人工智能 深度学习 卷积神经网络 计算机视觉 面部识别
2021-11-11 05:09:28

iPhone X 允许您查看原深感摄像头并报告 52 种面部混合形状,例如您的眼睛睁开多少、下巴张开多少等。

如果我想用其他相机(不是 TrueDepth)做类似的事情,我的替代方法是什么?目前,我只使用一个简单的 ConvNet,它接收图像并预测 52 个 sigmoid 值。

您认为 ARKit 人脸追踪背后的底层技术可能是什么?

1个回答

与跟踪任何其他运动相比,面部分类和跟踪更容易。这是因为面部具有大量易于识别的特征。

面部跟踪是面部检测之上的附加层。面部检测通过寻找颧骨、下巴、鼻子、眼睛等特征来工作。这些特征很容易检测,因为它们具有非常特殊的属性。这些点是在阴影和亮度的帮助下找到的,例如突出鼻子和颧骨,而眼睛和嘴唇有阴影。

使用这些特征点可以创建一个网格来构建面部。这是检测和分类人脸的经典方法。TrueDepth 摄像头在红外传感器的帮助下提供深度,有助于构建更好的结构。

面部特征和面部网格

面部跟踪利用这种网格来研究和跟踪面部结构的变化。例如当你微笑时,它会检测到颧骨点的变化,同样当你张开嘴时,你的嘴唇会分开。