训练神经网络比从预训练的推理中涉及更多的计算。在训练期间，神经网络必须经过前向传播和反向传播步骤。反向传播步骤的计算量很大，因为它需要许多梯度计算和更新权重变量。

在推理过程中，唯一需要的计算是前向传播，其中输入乘以权重以产生预测。像 NVIDIA Jetson 这样的板针对快速矩阵乘法进行了优化，因此它们在推理过程中很有效，但在训练中却没有那么大。

Jetson 受欢迎的另一个原因是其小巧的外形。建筑师之所以选择它，是因为它可以满足产品的尺寸和价格要求，同时还能提供不错的性能。如果您有无限的预算并且可以在您的产品中安装 GTX Titan 进行推理，您会这样做，对吗？我在自动驾驶汽车领域工作了一段时间，我们无法在汽车中安装一台配备任何全尺寸 GPU 的机器。训练模型没有大小限制，因此您自然会追求具有更强大和更高效 GPU 的机器。