这是一个非常开放的问题。假设我有两组相同形式的数据样本，比如 [item, rating]。评级是区间 [0,100] 上的值，项目是赋予特定项目的唯一标识符。我想比较这两组数据样本并确定原假设是否成立。
一个警告。我看不到评分分布。这是因为我实际上有数千个组要比较，并且确定每个组的评级分布（正态、双峰等）太耗时了。因此，我可能要比较的组可能具有不同的分布。
天真的方法是假设每个分布都是正态的，并使用类似学生 t 检验的东西来比较组。这是我一直在做的，但我想要更强大的东西。因此，当两组可能具有不同的非正态分布（两组中的元素数量也可能不同）时，如何确定两组的相似/不同？
编辑：该项目真的无关紧要。重要的是每个组的收视率。
在这种情况下，零假设是 [...] 它们是不同的
——这不是零假设的工作方式。您需要一些可以计算测试统计量分布的东西；通常这没有效果/没有区别（因此，“null”）。
相似性...无论两组是否来自同一人群
幸运的是，您对“相似性”（“来自同一人群”）的定义是一个合适的空值。
因此，如果空值是总体分布相同，而另一种情况是它们在某些方面有所不同，那么您就需要对分布差异进行一般测试——这会发现位置、分布或形状的差异。
这类似于两个样本的 Kolmogorov-Smirnov 测试。还有其他可能性，但这是最常用的一种。如果有您特别想要反对的特定类型的替代方案，那么可能会有更合适的选择。
我想比较这两组数据样本并确定原假设是否成立……因此，如何确定两组的相似/不同程度……
这是两个不同的东西。如果您已经知道分布不同，我不清楚您是否应该使用假设检验。请参阅：检验均值之间的显着性，具有一个正态分布样本和一个非正态分布样本
您将需要提出适合您目的的“相似/不同”定义，因为听起来您已经知道这些组是不同的。
平均每个项目有多少观察？
我同意您的幼稚方法并想要更强大的东西。有许多稳健的非参数检验来比较两个样本，例如置换检验或 Wilcoxon 秩和检验。您可以将这些与两样本 t 检验的结果进行比较，并更仔细地查看差异。
显然，您将希望使用一个函数/命令来自动执行所有变量，这听起来好像您已经完成了。