有没有提到神经网络优化中的数值问题的出版物？

当然，关于消失梯度的研究已经很多了，这完全是一个数值问题。也有大量关于低精度操作训练的研究，但结果令人惊讶：降低浮点精度似乎不会影响神经网络训练。这意味着精度损失不太可能是这种现象的原因。

尽管如此，环境仍会影响计算（如评论中所建议）：

• 最明显的是随机数生成器。在您的脚本中使用种子并尝试至少在一台机器上产生可重现的结果。之后，您可以计算激活和梯度的摘要（例如通过tf.summarytensorflow）并比较机器上的张量。显然，无论使用什么硬件，矩阵乘法或分段指数等基本运算都应该给出非常接近的结果，即使结果不相同。您应该能够看到张量是立即发散（这意味着存在另一个随机性来源）还是逐渐发散。

• python解释器cuda、cudnn驱动程序和关键库版本（numpy、、tensorflow等）。您可以使用相同的 linux 内核和libc版本，但我认为即使没有它，您也应该期望可重复性。cudnn版本很重要，因为卷积很可能是原生优化的。tensorflow也很重要，因为谷歌一直在重写核心。

• 环境变量，例如PATH，LD_LIBRARY_PATH等，linux 配置参数，例如limits.conf，权限。

额外的预防措施：

• 明确指定每个变量的类型，不要依赖默认值。

• 仔细检查训练/测试数据是否相同并且以相同的顺序读取。

• 您的计算是否使用任何预训练模型？有没有涉及到网络？也检查一下。

最后我会怀疑硬件差异：如果没有显式并发的高级计算会导致不同的结果（浮点精度差异除外），这取决于内核数量或缓存大小。