我正在尝试并行加载两个不同的 keras 模型。我尝试使用功能 API 模型：

input1 = Input(inputShapeOfModel1)
input2 = Input(inputShapeOfModel2)

output1 = model1(input1)
output2 = model2(input2) 

parallelModel = Model([input1,input2], [output1,output2])

这有效，但实际上并没有并行运行。推理时间只是每个模型的单独推理时间的总和。

我的问题是这应该同时运行吗？我还尝试使用 gpu 内存选项将它们加载到不同的 py 文件中。我仍然没有并行性（每个模型的推理时间是 x1.5）

有没有办法让两个模型的推理时间接近单个模型的推理时间？是添加第二个 gpu 的唯一解决方案吗？

更新：在不同的脚本中，它们似乎能够并行运行，因此必须有一种方法可以在 python/keras 中高效运行。