我目前发现自己需要设计一个本地网络来并行处理来自多个来源的大量数据。不幸的是我缺乏预测可能的瓶颈的经验,所以我希望你能帮助我。如果这是错误的论坛,请告诉我在哪里发帖。
所以问题如下:我有 5 到 15 个 U 盘,每个 U 盘最多 1TB(但最常见的是约 500GB)的视频数据。我需要处理这些视频文件,并将结果合并到一个位置(外部硬盘)。
目标是允许一台集线器/计算机将视频文件划分到多个 (N) 个服务器上,以允许它们处理这些文件并将它们发回。
我目前的想法如下:
[USB-hub] -> [Main computer] ------> [network switch] ----[Nx1gbit cable]-----> [N servers]
主计算机有一个网卡,允许 10gbit 输出。连接到这台计算机的是一个 USB3 集线器,允许多个 USB 驱动器发送数据。计算机通过 CAT6a 电缆连接到网络交换机,以实现 10gbit 的传输速度。
网络交换机允许计算机将文件传输到服务器以允许并发处理。这个交换机应该至少有 1x10gbit 和 Nx1gbit 连接由于这些服务器(HDD)的存储是一个瓶颈,我估计 1gbit 应该足够快。
我担心以下瓶颈,我有一些想法可以防止它们,但我希望得到您的帮助:
- USB 集线器是一个瓶颈,因为所有连接的 USB 驱动器都通过一个 USB3 端口连接。
- 将文件从 USB 驱动器传输到网络的开销。我不知道通过网络将文件直接从 USB 存储传输到 HDD 驱动器的开销是否对 CPU 有任何开销,或者是否需要一定数量的 RAM 来缓冲文件。
这些预测的瓶颈是否正确?如果是这样,您对如何解决它们有什么建议吗?
提前致谢