为什么在每个 GPU 上都提到 FLOP(每秒浮点运算)作为规范?

计算科学 并行计算 机器学习 显卡
2021-11-30 23:31:18

计算 FLOP 可能不能代表实际算法的实际性能,但仍然所有 GPU 制造商都将 FLOPS 作为 GPU 性能的衡量标准。有什么方法可以使这个指标在 GPU 性能方面产生误导?

1个回答

这个指标对于 GPU 和 CPU 一样具有误导性(或有用,取决于您的观点)。

目前,许多应用程序/算法的实现更多地受到内存吞吐量而不是 FLOP 的限制。内存吞吐量(以 GB/s 为单位)也始终针对 GPU 规格列出,这两个数字一起可以更好地了解预期的 GPU 性能。

所有这些也适用于 CPU FLOPs 指标。然而,在我看来,FLOPs 度量批评甚至更适用于 GPU,因为它们更加专业化并且面向可并行计算,这可能会产生对特定算法实现和数据组织模式的更大依赖。

那么,FLOPS 在 GPU 性能方面是否会产生误导?当然。有理由拥有它们吗?是的,因为它至少提供了一些信息,这些信息在将内存吞吐量纳入后续分析时更加完整:

  • 根本问题
  • 选择的算法和实现
  • 选择的数据组织和操作策略
  • 其他 GPU 特性(可能跨多个 GPU 单元的并行化模式、架构和指令支持等)