这是关于分布式计算的：假设您有 100 个任务和 10 个可用内核。您将任务并行化，以便每个核心处理其中的 10 个。现在让我们假设该任务涉及一些子任务，并且在内部尝试使用所有可用的内核：在两个并行化级别上，进程竞争内核，导致性能损失，因为挂起的进程多于可用内核。这通常可以通过一些实用程序观察到，以可视化内核的活动。

这就是为什么控制应该在哪个级别进行并行化会更有效的原因，以最大程度地减少进程之间的竞争。在我的示例中，理论上顶级任务可以分配到 5 个进程中，而每个任务仍然可以使用 2 个内核。但是，仅决定一个并行化级别通常更简单，更有效：在您的情况下，要么是训练要么是并行化，但不是两者兼而有之。恕我直言，选择并不明显，特别是它取决于培训过程的密集程度。