我有大量训练数据的文本分类问题。运行交叉验证需要很多时间——几天甚至几周。为了让系统反应更灵敏,我在想下面的方案:
- 在实例 1,...,100 上训练网络。
- 在实例 101,...200 上测试它;输出精度。
- 在实例 101,...200 上训练现有网络;
- 在实例 201,...300 上测试它;输出精度。
- 等等。
理想情况下,我希望这样:
- 每增加 100 个实例的训练将花费固定时间(即,我不必在所有先前实例上重新训练网络);
- 经过训练的网络将具有所有先前实例的组合“智慧”(因此其准确性将随着时间的推移而提高)。
这可能与标准的深度学习工具(例如 dynet)有关吗?