机器算法验证 - 加权 Kendall tau 等级相关系数 - 吾爱随笔录

机器算法验证排行公制肯德尔陶排名

2022-03-13 01:32:08

我需要使用一个度量来比较两个排名：

将基本事实视为1,2,3,4,5,6。设两个排名为R1和R2。

R1: 1,2,3,6,4,5
R2: 1,4,2,3,5,6

来自 Wikipedia Kendall 的 tau 排名相关系数由下式给出：

\frac{Number of Concordant Pairs - Number of Discordant Pairs}{(n (n - 1) / 2)}

$\frac{\text{Number of Concordant Pairs - Number of Discordant Pairs}}{(n(n-1)/2) }$ 计算 Kendall 的 tau R1：

Number of Concordant Pairs = 15
Number of Discordant Pairs = 2

同样对于R2：

Number of Concordant Pairs = 15
Number of Discordant Pairs = 2

因此，尽管两个列表的 Kendall 相关系数相同，但我想惩罚R2更多，因为位置差异朝向头部而不是尾部。因此，除了排名之外，我还想考虑位置。对此有明确的衡量标准吗？如何才能做到这一点？

3个回答

我没有评论权限，所以我会在这里尝试回答。也许您最初的问题尚不清楚，但根据您的确切含义，以下是答案：

“我想更多地惩罚R2，因为位置的差异是朝向头部而不是尾部。因此，除了排名之外，我还想考虑位置。”

如果您想惩罚 R2，因为它向位置 1 移动得太远，那么尽管您对另一个答案做出了回应，但您确实关心相关性。换句话说，如果错误太靠近头部或尾部很重要，那么基于相关性的排名就是您要寻找的。另一个答案的折扣累积收益建议是一个不错的选择。
或者，我不知道您是否认为在 R2 中，排名有较大的绝对变化或跳跃，您要为此给予惩罚。事实上，这两种情况的区别是 -2：在 R1 中，6 将 -2 移至第 4 位；在 R2 中，4 将 -2 移动到 2。因此，Kendall 的 tau 是相同的，因为 tau 只关心有多少差异，而不关心跳跃的确切位置。例如，如果仅在 1 中出现跳跃（例如，如果 R3 为 2、1、3、4、5、6），则 tau 将具有更大的值（表明一致性更高）。如果是这种情况，那么 Kendall 的 tau 可能正是您所需要的。

我不知道 Kendall tau 是否可能，但一些排名措施，如折扣累积增益自然会惩罚更多的倒置到列表的某个极端。

位置加权的 kendall-tau（又名 Kemeny）指标可以完成这项工作。这是原始指标的概括，为连续位置上可能的交换分配权重（因此是无限类）。

一个简单的例子是为第一个和第二个备选方案、第二个和第三个备选方案之间的交换分配权重，依此类推。

其它你可能感兴趣的问题