在这个网站上找到另一个显微镜师真是太棒了。欢迎！

简短的回答：

市场上没有可以为您解决这个问题的灵丹妙药。

更长的答案：

把一些商业上可用的产品放在一起可以让你走得很远。

在我的工作中，我们每周拍摄约张图像，这使我们处于类似的问题规模空间，所以我想先以一些快速要点的形式分享我的经验，然后更全面地描述我们为处理这一切而创建的内容。$4\,096\times25\,000$

• 尽早压缩。投入时间（无损）压缩图像将节省网络 IO、存储成本、传输时间，并且几乎总是可以加快分析速度。考虑到每张图像的熵通常较低，PALM 和 STORM 是很好的候选者。我们构建了一个小型集群来完成这一切。使用 32 个内核，它的成本仍然不到新 STORM 设置的 2% :)
• 连续存档/上传。我们使用 s3 进行存储，并有一个恒定的后台线程上传图像。您上传到 AWS 的能力将仅受本地连接的限制。
• 使用 s3 或类似的竞争产品。除非您拥有某种形式的免费/补贴 IT、电力或硬盘驱动器，否则您真的无法超过这项服务的存储成本。我们为每个样本使用 s3 存储桶，并最终将它们迁移到 Glacier 存储以降低已分析数据的成本。
• 利用 Cloud IO 魔法。从 AWS 拉取单个帧的任何特定计算机通常会获得 5-15MB/s，但是拉取一个帧的 500 台计算机每台获得相同的速率，总计以 GB/s 为单位。这对于并行分析来说非常强大。 这是一个以显微镜为重点的精彩视频。

这是我为一些文档绘制的系统图：

简而言之，我们有许多显微镜为一个压缩集群提供数据，所有这些最终都会收敛到一个 IO 端点，该端点与 s3 同步到基于样本的存储桶中。这个堆栈还不是操作系统，但我可以很容易地以有限的方式与任何感兴趣的人分享它。

这是一个专门的解决方案，但其中的任何一部分都可能被几个带有gnu parallel、image-magic、s3fs和合理大小的计算集群的 shell 脚本杀死。

如果您有一个支持 HPC 设施，所有这些相同的东西都会更便宜:)

根据我们上面的讨论，我建议以下内容：找到您当地、区域或国家的超级计算、HPC 或研究计算机构，了解他们对此类数据存储和计算活动的支持。这种工作负载是“大数据”涵盖的众多事物之一，而我所知道的所有超级计算中心都在为支持这些事物而努力。他们的资助机构也在积极推动他们这样做。

在许多情况下，与商业云选项相比，它们将能够免费或以大大降低的成本支持您的工作负载，因为它们在大学、地区政府或国家政府层面获得了补贴。相比之下，商业云的多 TB（听起来像）数据摄取或静态存储成本是天文数字，而且它们通常没有支持科学的任务。