这个设计中可能的瓶颈是什么?

网络工程 以太网 网络
2022-02-23 09:04:14

我目前发现自己需要设计一个本地网络来并行处理来自多个来源的大量数据。不幸的是我缺乏预测可能的瓶颈的经验,所以我希望你能帮助我。如果这是错误的论坛,请告诉我在哪里发帖。

所以问题如下:我有 5 到 15 个 U 盘,每个 U 盘最多 1TB(但最常见的是约 500GB)的视频数据。我需要处理这些视频文件,并将结果合并到一个位置(外部硬盘)。

目标是允许一台集线器/计算机将视频文件划分到多个 (N) 个服务器上,以允许它们处理这些文件并将它们发回。

我目前的想法如下:

[USB-hub] -> [Main computer] ------> [network switch] ----[Nx1gbit cable]-----> [N servers]

主计算机有一个网卡,允许 10gbit 输出。连接到这台计算机的是一个 USB3 集线器,允许多个 USB 驱动器发送数据。计算机通过 CAT6a 电缆连接到网络交换机,以实现 10gbit 的传输速度。

网络交换机允许计算机将文件传输到服务器以允许并发处理。这个交换机应该至少有 1x10gbit 和 Nx1gbit 连接由于这些服务器(HDD)的存储是一个瓶颈,我估计 1gbit 应该足够快。

我担心以下瓶颈,我有一些想法可以防止它们,但我希望得到您的帮助:

  • USB 集线器是一个瓶颈,因为所有连接的 USB 驱动器都通过一个 USB3 端口连接。
  • 将文件从 USB 驱动器传输到网络的开销。我不知道通过网络将文件直接从 USB 存储传输到 HDD 驱动器的开销是否对 CPU 有任何开销,或者是否需要一定数量的 RAM 来缓冲文件。

这些预测的瓶颈是否正确?如果是这样,您对如何解决它们有什么建议吗?

提前致谢

1个回答

USB 3 HDD 可以超过 200 MB/s,几乎是 1G 以太网速度的两倍。普通的闪光棒虽然慢得多。

USB 3.2 最高超过 1.5 GB/s,甚至超过 10G 以太网带宽。更多详细信息不在此处,我建议在您的平台上进行测试。

网络传输的开销取决于您使用的协议。最常见的协议基于 IPv4 上的 TCP,对于 1G 以太网 (1000BASE-T),其最高速度应略高于 115 MB/s。

本地开销(CPU/RAM)完全取决于手头的平台、工具和协议,在这里完全偏离主题,抱歉。容量规划可能是关于服务器故障的主题,但他们会希望看到更多关于主题业务网络的详细信息(硬件、软件、设置)。