HPC 中本地内存/计算、网络延迟和带宽抖动的统计模型

计算科学 表现 高性能计算 统计数据
2021-12-11 04:36:36

并行计算经常使用确定性的本地计算速率、延迟开销和网络带宽来建模。实际上,这些是空间可变的和不确定的。Skinner 和 Kramer (2005)等研究观察到多模态分布,但性能分析似乎总是使用确定性或高斯分布(不仅不准确,而且由于负延迟的正概率而不一致)。

是否开发了更高保真度的统计模型?是否考虑到本地计算/内存、延迟和带宽可变性的互相关?

1个回答

从计算机科学的角度来看,我认为为内存访问时间(延迟)和内存带宽建立一个通用的统计模型是没有意义的。

为算法创建统计模型确实很有意义这是因为每个算法都有特定的内存访问模式,内存访问模式与缓存层次结构相关,例如,具有高数据局部性的算法将利用低级缓存,从而受益于真正快速的内存访问时间,而其他算法将不得不一直到 RAM(甚至最差的交换内存)并且访问时间非常慢。

通用值是从架构的角度给出的,您可以检查您的架构并搜索从给定内核到给定内存位置(比如说 L3 缓存)的访问时间请注意,最近的架构是非统一内存访问NUMA,这将使您的工作更加困难。