使用Python进行高效的大规模比赛评分

考虑包含以下条目的得分S的大数据框.每行代表参与者A,B,C和D的子集之间的比赛.

 A     B    C   D
0.1  0.3  0.8    1
  1  0.2  NaN  NaN
0.7  NaN    2  0.5
NaN   4   0.6  0.8

读取上面矩阵的方法是：观察第一行,参与者A在那一轮得分为0.1,B得分为0.3,依此类推.

我需要建立一个三角矩阵C,其中C [X,Y]存储参与者X比参与者Y好多少.更具体地说,C [X,Y]将保留X和Y之间分数的平均百分比差异.

从上面的示例：

C[A,B] = 100 * ((0.1 - 0.3)/0.3 + (1 - 0.2)/0.2) = 33%

我的矩阵S很大,所以我希望利用numpy或pandas中的JIT(Numba？)或内置方法.我当然想避免产生嵌套循环,因为S具有数百万行.

上面的有效算法是否有名称？

解决方法:

让我们看一下基于NumPy的解决方案,因此假设输入数据在名为a的数组中.现在,四个这样的变量的成对组合的数量将是4 * 3/2 =6.我们可以使用np.triu_indices()生成与此类组合相对应的ID.然后,使用这些索引对a的列进行索引.我们执行减法和除法运算,然后简单地添加忽略期望值输出为np.nansum()的NaN影响结果的列.

因此,我们将有一个这样的实现-

R,C = np.triu_indices(a.shape[1],1)
out = 100*np.nansum((a[:,R] - a[:,C])/a[:,C],0)

样品运行-

In [121]: a
Out[121]: 
array([[ 0.1,  0.3,  0.8,  1. ],
       [ 1. ,  0.2,  nan,  nan],
       [ 0.7,  nan,  2. ,  0.5],
       [ nan,  4. ,  0.6,  0.8]])

In [122]: out
Out[122]: 
array([ 333.33333333, -152.5       ,  -50.        ,  504.16666667,
        330.        ,  255.        ])

In [123]: 100 * ((0.1 - 0.3)/0.3 + (1 - 0.2)/0.2) # Sample's first o/p elem
Out[123]: 333.33333333333337

如果您需要将输出作为(4,4)数组,则可以使用Scipy's squareform–

In [124]: from scipy.spatial.distance import squareform

In [125]: out2D = squareform(out)

让我们转换为熊猫数据框以获得良好的视觉反馈-

In [126]: pd.DataFrame(out2D,index=list('ABCD'),columns=list('ABCD'))
Out[126]: 
            A           B           C    D
A    0.000000  333.333333 -152.500000  -50
B  333.333333    0.000000  504.166667  330
C -152.500000  504.166667    0.000000  255
D  -50.000000  330.000000  255.000000    0

让我们手动计算[B,C]并返回查看-

In [127]: 100 * ((0.3 - 0.8)/0.8 + (4 - 0.6)/0.6)
Out[127]: 504.1666666666667

标签：pandas,matrix,numba,python,numpy
来源： https://codeday.me/bug/20191118/2025519.html