深度学习:CPU 与 GPU 质量

数据挖掘 深度学习 显卡
2022-02-19 19:12:50

我在谷歌和这里搜索了其他类似的问题,但找不到任何问题。与 CPU 相比,在使用 GPU 进行深度学习时,我一直得到质量较差的结果。当然,使用 GPU 速度要快得多,但我的结果在许多不同方面收敛到较低的质量:嵌入的主观质量、验证准确性、损失等。它不依赖于 epoch 的数量,即。结果不会收敛到相同的值:一个总是不如另一个。当试图获得可靠的、可重复的 SOTA 结果时,这是令人不安的,其中 0.1 或 0.2% 非常重要(从 top2 到 top1)。

我有一个 RTX2070 和一个好的 CPU。它是现代 GPU 所固有的吗?使用 GPU 进行的近似是否可以解释这种现象?感谢您的投入。

1个回答

理论上,CPU 和 GPU 应该达到相同的精度。但是imo,由于高并行化,通常人们倾向于在GPU上使用更大的batch size。您可能知道,在随机梯度下降中,较小的批量大小有更高的机会达到全局最优。这可能是准确性略有不同的原因。