python – 寻找巨大稀疏矩阵的最大特征值

我试图找到一个令人难以置信的稀疏邻接矩阵的最大特征值.我尝试过使用我看到的所有方法：

mat = scipy.io.mmread(f)
mat = scipy.sparse.csr_matrix(mat)
G = nx.to_networkx_graph(mat)
mat = None

# compute largest eigenvalue
L = nx.normalized_laplacian_matrix(G)

# impl 1
e = numpy.linalg.eigvals(L.A)
# impl 2
e, _ = scipy.sparse.linalg.eigs(L.A, k=1, which='LA')
# impl 3
e, _ = scipy.sparse.linalg.eigs(L.A)

所有这三个实现在某些时候都会遇到类似的内存错误：

 e, _ = scipy.sparse.linalg.eigs(L.A)
 File "/usr/lib64/python3.7/site-packages/scipy/sparse/base.py", line 674, in __getattr__
return self.toarray()
File "/usr/lib64/python3.7/site-packages/scipy/sparse/compressed.py", line 947, in toarray
out = self._process_toarray_args(order, out)
File "/usr/lib64/python3.7/site-packages/scipy/sparse/base.py", line 1184, in _process_toarray_args
return np.zeros(self.shape, dtype=self.dtype, order=order)
MemoryError
Uncaught exception. Entering post mortem debugging
Running 'cont' or 'step' will restart the program
> /usr/lib64/python3.7/site packages/scipy/sparse/base.py(1184)_process_toarray_args()
-> return np.zeros(self.shape, dtype=self.dtype, order=order)

(Pdb) print(self.shape)
(14259278, 14259278)

在尝试生成1.6PB numpy数组之后,大概是为了表示矩阵的密集表示.显然,我没有这方面的记忆.我确实有很多(128GB).是否有一些实现或替代方案不需要生成密集矩阵？它不一定是Python.

解决方法:

SciPy尝试创建密集表示的唯一原因是因为您特别请求了一个：

L.A

别那样做. scipy.sparse.linalg.eigs采用稀疏矩阵.你不需要密集阵列.A产生.此外,’LA’不是文档中允许的值之一;你可能想要’LM'(默认).

标签：python,numpy,scipy,sparse-matrix,eigenvalue
来源： https://codeday.me/bug/20190607/1193935.html