我目前正在从事对象检测任务。我有一个灰度和深度图像数据集。注释格式为$x_1, y_1, x_2, y_2, class, depth$. 我使用聚类算法和深度图像计算了这个深度（每个对象/边界框）。

我的计划是使用灰度图像通过预训练的 CNN 检测边界框和类别标签。

此外，我想使用深度图像来预测深度​​（如上所述数据集中的地面真实值）。对于这个任务，我的计划是构建一个基于回归的神经网络，它对深度图像边界框内的深度值进行回归，并将它们与地面实况值进行比较。RMSE 损失函数可用于跟踪预测。因为我不能在这里发布真实的深度图像，所以我发布了一个示例图像，请认为这是深度图像，只是为了解释。在图像中，可以看到边界框。我想使用一个神经网络来回归每个边界框内的值并预测深度值。然后应该将这个预测的深度值与数据集中的地面真实深度值进行比较，等等......

我该如何制作这个基于回归的神经网络，还有更好的选择吗？