Python – 令人难以置信的大型矩阵的最佳数据结构

我需要创建大约200万个向量,每个向量1000个插槽(每个插槽只包含一个整数).

处理这些数据的最佳数据结构是什么？可能是我高估了所涉及的处理/内存量.

我需要迭代一组文件(总共大约34.5GB)并且每次在一行上遇到200万个项目中的一个(每个对应一个向量)时更新向量.

我可以轻松地为此编写代码,但我知道它不足以处理数据量,这就是为什么我要问你专家.

标签：large-data-volumes,python,matrix,data-structures,vector
来源： https://codeday.me/bug/20190730/1579218.html