我是地球物理学的博士生，处理大量图像数据（数百 GB，数万个文件）。我非常了解svn并且git非常重视项目历史，以及轻松协作和防止磁盘损坏的能力。我发现git对于进行一致的备份也非常有帮助，但我知道 git 不能有效地处理大量的二进制数据。

在我的硕士学习中，我研究了类似大小的数据集（还有图像），并且在跟踪不同服务器/设备上的不同版本时遇到了很多问题。通过网络区分 100GB 真的不好玩，而且花费了我很多时间和精力。

我知道科学界的其他人似乎也有类似的问题，但我找不到好的解决方案。

我想使用我研究所的存储设施，所以我需要一些可以使用“哑”服务器的东西。我还想在便携式硬盘上进行额外的备份，因为我想尽可能避免通过网络传输数百 GB。所以，我需要一种可以处理多个远程位置的工具。

最后，我真的需要其他研究人员可以使用的东西，所以它不需要超级简单，但应该在几个小时内就能学会。

我评估了很多不同的解决方案，但似乎没有一个符合要求：

• svn效率有点低，需要智能服务器
• hg bigfile / largefile只能使用一个遥控器
• git bigfile / media也可以只用一个遥控器，但效率也不是很高
• 阁楼似乎没有日志或差异功能
• bup看起来很不错，但需要一个“智能”服务器才能工作

我已经尝试过git-annex，它可以完成我需要它做的所有事情（以及更多），但它很难使用并且没有很好的文档记录。我已经使用了好几天，无法理解它，所以我怀疑任何其他同事都会感兴趣。

研究人员如何处理大型数据集，其他研究小组在使用什么？

需要明确的是，我主要对其他研究人员如何处理这种情况感兴趣，而不仅仅是这个特定的数据集。在我看来，几乎每个人都应该有这个问题，但我不知道有谁解决了这个问题。我应该只保留原始数据的备份而忘记所有这些版本控制内容吗？这就是其他人都在做的事情吗？