优化计算相似度矩阵

任务：现有特征矩阵$X\in R^{N\times F}$X∈RN×F，N为样本个数，F为特征大小，需要计算相似度矩阵$A$A，$A_{ij}=A_{ji}$Aij​=Aji​为第i个样本和第j个样本的相似度，利用欧式距离求解两个样本间的距离：
$A_{ij}=A_{ji}=\sum_{f=1}^{F}(X_{if}-X_{jf})^{2}$Aij​=Aji​=f=1∑F​(Xif​−Xjf​)2

未优化的双重循环写法

def dobule_loop(X):
    N = len(X)
    A = numpy.zeros((N, N))
    for i in range(N):
        for j in range(i+1, N):
            A[j][i] = A[i][j] = numpy.sum(numpy.square(X[i]-X[j]))
    return A

优化写法

去掉第二个循环，使用批量计算，例如第i个样本需要和i+1到N的样本计算欧式距离，则将i+1到N个样本取出与第i个样本批量计算

def optimize_loop(X):
    N = len(X)
    A = numpy.zeros((N, N))
    for i in range(N):
        deta = numpy.sum(numpy.square(X[i]-X[i+1:N]), axis=1)
        A[i, i+1: N] = deta
        A[i+1:, i] = deta
    return A

时间上，后者比前者高效，例如当X的维度是(4000，3)时，前者时间为43.92秒，而后者只需0.56秒。

标签：deta,numpy,sum,样本,矩阵,Aji,相似,Aij,优化
来源： https://blog.csdn.net/weixin_43486780/article/details/104811360