数据进出 GPU 的传输。数据通过总线进入 GPU，分配到内存中，处理并通过同一通道发回结果。无论它是否引人注目，都需要时间。

与具有顺序执行功能的 CPU 不同，GPU 具有并行执行功能并且速度极快。

GPU 的一个主要缺点是它不是为深度学习而构建的，而是最初设计用于实现图形管道。由于深度学习也对齐相同类型的计算（矩阵乘法），因此使用 GPU 进行深度学习。

更多在深度学习中使用 GPU 有什么缺点吗？

GPU 在将相同指令应用于多个数据点 (SIMD) 方面非常快。但是，如果您添加分支（一个 if），这两个分支将被序列化（首先是所有接受它的数据的 if，然后是所有不接受它的数据的 else - 所以仍然非常并行，但不完全）。此外，如果您的数据点很少，则上传到 GPU 和下载结果的开销可能会主导整个执行时间 - 仅在 CPU 上执行可能会更便宜。