四个 GTX 1080 Ti 与一个 Tesla V100 在深度神经网络训练中的性能

数据挖掘 机器学习 硬件
2022-02-13 15:13:26

虽然这可能有点离题,但这个问题确实与数据科学和机器学习有关。我想从头开始在 Imagenet 上训练一个 VGG16 模型。为此,我正在考虑购买四到六台 GTX 1080 Ti 或一台 Tesla V100。我感觉四颗 GTX 1080 Ti 的性能会比单颗 V100 好得多,但有没有对此进行过实际研究?

编辑 - 每个 GTX 1080 Ti 具有 11.3 teraflops 的 FP32 性能(或四个 1080 Ti 的 45.2 teraflops,或者由于缩放不是线性的而略低),而 V100 是 100 teraflops,或者是四个 GTX 1080 性能的两倍以上蒂的。有人对这两个图像网络性能有任何基准吗?

1个回答

此链接使用 pytorch 对 1080ti 与 Titan V(与 V100 相同,但 RAM 更少)进行了更实际的基准测试。它几乎不是 10 倍加速的最佳情况,而且似乎是更适度的 20% 到 50% 的提升。这是意料之中的,nVidias 宏大的性能声明往往仅适用于不能很好地扩展到现实世界使用的相当受限的基准测试。4 1080ti 卡可能比单张 V100 获得更多的收益,除非您真的需要单卡中的大量 RAM。