我想更快地训练我的模型，这就是为什么想创建一个支持 GPU 的独立远程机器。我正在寻找的解决方案是在我的机器上本地保存数据并使用来自远程机器的资源。这可能吗？例如，我正在笔记本电脑上本地检查我的项目。当我使用一些远程 Jupiter 笔记本时，它也需要数据在远程机器上。但是在模型训练好之后，我想从我的本地机器上将它提交到 git 中。这个怎么做？
使用本地文件在远程服务器上运行 Jupyter 笔记本
数据挖掘
机器学习模型
朱庇特
2022-02-25 15:29:19
1个回答
这是可能的，但不推荐。在本地存储数据并在远程服务器上执行计算有可能增加训练时间。
两种可能的情况：
所有数据都可以加载到远程服务器的内存中。这将需要在本地和远程之间进行一次旅行。
如果数据不能同时加载到内存中，那么本地和远程之间就会有重复的行程。这种传输延迟会大大减慢训练速度。
更好的选择是为远程服务器提供足够的磁盘空间来存储所有数据。压缩数据。将所有压缩数据移动到远程服务器。解压缩数据。然后训练模型。