测试随机算法可能相当棘手！

我从事系统生物学工作，有许多随机模拟器可用于模拟模型。测试这些模拟器很棘手，因为单个模型的任何两个实现通常都会不同。

在dsmts 中，我们已经（分析地）计算了特定模型的期望值和方差。然后，我们执行假设检验以确定模拟器是否与事实不同。用户指南的第 3 节提供了详细信息。本质上，我们对平均值进行 t 检验，对方差进行卡方检验。

在您的情况下，您正在比较两个模拟器，因此您应该只使用两个样本的 t 检验。

也许您可以将同一算法的两次运行之间的平均差异测量为不同算法的两次运行之间的平均差异。不能解决如何衡量这种差异的问题，但可能是一个更容易处理的问题。并且时间序列的各个值将输入到差异计算中，而不必被视为要相互评估的单独数据点（我也不认为第 n 步的特定差异是您真正想要的发表关于）的声明。

更新 有关细节 - 除了最终错误之外，您对时间序列的哪些特征感兴趣？我猜你实际上有三个不同的问题要解决：

1. 什么构成了您的相似性，即当您说您不相信这两种方法不同时，您的意思是什么？
2. 你如何量化它 - 可以在1之后回答，并且
3. 如何测试两种方法之间的显着差异？

我在第一篇文章中所说的只是（1）的答案可能没有考虑 1000 代中每一代的个体差异。我建议为每个时间序列或至少时间序列之间的相似性提出一个标量值。只有这样你才能得到实际的统计问题（我对这三点知之甚少，但我被建议在我刚刚问过的类似问题中使用配对 t 检验，当每个元素都有一个标量值时）。