Python Numpy Memmap矩阵乘法
作者:互联网
我试图在两个巨大矩阵(10 * 25,000,000)之间产生通常的矩阵乘法.
这样做会耗尽我的记忆力.我如何使用numpy的memmap来处理此问题?
这是个好主意吗?我并不担心操作的速度,我只是想要结果,即使这意味着要等待一段时间.谢谢高级!
8 GB RAM,I7-2617M 1.5 1.5 GHz,Windows7 64位.我正在使用所有东西的64位版本:python(2.7),numpy,scipy.
编辑1:
也许h5py是更好的选择?
解决方法:
您可以尝试使用np.memmap,并一次计算一个元素的10×10输出矩阵.
因此,您只需加载第一个矩阵的第一行和第二个矩阵的第一列,然后加载np.sum(row1 * col1).
标签:large-data,matrix-multiplication,memory-management,python,numpy 来源: https://codeday.me/bug/20191201/2079848.html