进行计算实验的指导方针是什么?

计算科学 基准测试 再现性 实验
2021-11-28 01:26:14

物理学、生物学、化学等有不同的实验规则集:哪些事件被认为是相关的,如何避免样本污染,如何创建和修复复制过程等等。

在确保数值实验的准确性和可重复性方面有哪些标准、协议和最佳实践?

1个回答

关于如何设计、执行和报告计算实验结果的文章很多。这与开源软件和更广泛的“开放科学”运动有着明显的联系。另一个重要的问题是“我的代码比你的更快”的研究和帮助我们更好地理解算法属性的研究之间的区别。

您可能想要查看的有关计算实验和测试的一些参考资料包括:

Coffin、Marie 和 Matthew J. Saltzman。2000.“算法和启发式计算测试的统计分析”。INFORMS 计算杂志 12 (1): 24–44。

Crowder、Harlan、Ron S. Dembo 和 John M. Mulvey。1979.“关于用数学软件报告计算实验。” ACM 数学软件交易 (TOMS) 5 (2): 193–203。

Feitelson, Dror G. 2006。“实验计算机科学:文化变革的必要性”。

Hooker, John N. 1995。“测试启发式:我们都错了。” 启发式杂志 1 (1): 33-42。

McGeoch, Catherine C. 2012。实验算法指南。剑桥大学出版社。