背景

我正在使用 Python、Flask 和 MTCNN 人脸检测器构建一个简单的人脸检测 API。

我的问题是模型和 API 在我的工作站（不带 GPU 的 6 核 Intel i5 9400F - macOS 10.15.1）上运行得非常快（处理 100 张图像需要 0.5-0.7 秒），但它的性能很差（同样批处理需要 2-3 秒）在具有双 8 核 Intel Xeon E5-2630 v3（Ubuntu 18.04）的生产服务器上。

问题

这怎么可能？TensorFlow 在 macOS（Metal API 等）上是否以某种方式加速？我应该使用不同的服务器吗？

我尝试了什么：

• 安装了英特尔优化的张量流
• 从源代码重新编译 tensorflow 以包括对所有 CPU 指令的支持
• 来自不同供应商的不同服务器

更新

经过更多测试，似乎即使我的 MacBook Pro（2.8 GHz 四核 Intel Core i7）在 GTX 2080 Ti 和 Tesla T4（在 Ubuntu 18.04 上）上的性能也优于 Tensorflow，我真的不明白这里发生了什么。