tensorflow 中的 cache() 与 prefetch() 有什么区别?

数据挖掘 深度学习 张量流 数据科学模型
2022-03-11 03:18:39

我已经阅读了 TensorFlow 文档。

TensorFlow中的cache()vs有什么区别?prefetch()

我应该什么时候使用这个cache()功能,什么时候应该使用这个prefetch()功能?

1个回答

tf.data.Dataset.cache转换可以在内存或本地存储中缓存数据集这将避免在每个时期执行一些操作(如文件打开和数据读取)。下一个 epoch 将重用缓存转换缓存的数据。

预取与训练步骤的预处理和模型执行重叠。当模型执行训练步骤 s 时,输入管道正在读取步骤 s+1 的数据。这样做可以将步骤时间减少到训练的最大值(而不是总和)以及提取数据所需的时间。

来源