我的经验法则是，如果您可以在每个双精度值少于 50 次失败中有效地计算一些数量（充分利用 FPU），那么重新计算比存储要好。几十年来一直保持稳定的趋势是浮点能力比内存性能提高得更快，并且由于物理限制和快速内存的能量需求而不太可能缓和。对于所有流行的计算平台（Intel/AMD、Blue Gene 和 GPU）来说，50 的值是正确的。

每个核心的近似成本估算

[2011/2012 Intel 和 AMD 机器指南]

• $0.05$ns：作为矢量化代码的一部分执行一次双精度浮点运算的时间，没有数据依赖性和交错乘法/加法
• $0.2$ns：在没有矢量化或数据依赖性的情况下执行一项非矢量化浮点运算的时间
• $0.4$ns：在没有矢量化或数据依赖性但没有交错乘法/加法的情况下进行一次非矢量化浮点运算的时间（1 个时钟周期）
• $0.4$到$0.8$ns：参考 L1 缓存的延迟
• $2$ns：浮点运算的延迟（矢量化与否）
• $3$到$5$ns：从内存中加载一个双精度值作为完全预取和充分利用流的一部分的时间
• $3$到$5$ns：间接函数调用（虚拟方法或函数指针，无寄存器压力）
• $5$ns：条件分支错误预测
• $4$到$8$ns：一个除法的时间（向量化与否，不能与其他指令同时运行）
• $12$ns：从本地 L2 满足的 L1 缓存缺失
• $12$ns：最佳情况比较和交换或获取和添加原子指令
• $30$-$50$ns：L1 写缓存未命中或原子指令，其中缓存行在本地可用，但当前内核必须获得独占访问
• $100$ns：从off-socket或内存中满足的缓存未命中或原子指令
• $10^3$ns ($1$ $\mu$s)：花哨网络的硬件网络延迟
• $10^4$ns ($10$ $\mu$s)：良好映射到网络时的低数据邻居交换
• $10^6$ns (1 ms)：在并行文件系统上创建文件的时间（每个进程）
• $2\cdot 10^6$ns (2 ms)：MPI_Allreduce大型机器上的小数据（例如范数或点积）
• $10^7$ns (10 ms): 本地磁盘寻道
• $5\cdot 10^8$ns (500 ms)：重写所有可用内存的时间
• $1.8\cdot 10^{12}$ns（0.5 小时）：检查点整个机器状态到磁盘的时间

进一步阅读

• Agner Fog 的指令表
• 每个程序员都应该知道的延迟数字
• Paul McKenney 关于线程的幻灯片