我已经阅读了 TensorFlow 文档。
TensorFlow中的cache()vs有什么区别?prefetch()
我应该什么时候使用这个cache()功能,什么时候应该使用这个prefetch()功能?
我已经阅读了 TensorFlow 文档。
TensorFlow中的cache()vs有什么区别?prefetch()
我应该什么时候使用这个cache()功能,什么时候应该使用这个prefetch()功能?
tf.data.Dataset.cache转换可以在内存或本地存储中缓存数据集。这将避免在每个时期执行一些操作(如文件打开和数据读取)。下一个 epoch 将重用缓存转换缓存的数据。
预取与训练步骤的预处理和模型执行重叠。当模型执行训练步骤 s 时,输入管道正在读取步骤 s+1 的数据。这样做可以将步骤时间减少到训练的最大值(而不是总和)以及提取数据所需的时间。