在python中将数组存储到持久内存的有效方法

假设我们有一个这样的长一维数组,其中包含数百万个元素：

[0,1,1,1,1,2,1,1,1,1,1,1,1,… ,, 1,2,2,2,2,2,2,2,2,4,4,4 ,4,4,4,4,4,4,4,3,4,1,1,1,1,1]

如果只有一个重复元素,我们可以使用稀疏数组,但是由于它可以是任何类型的整数值(或一组名义元素),所以这没有我想像的窍门(或者我错了吗？).

据我了解,据我了解,PyTables能够基于HDF5文件即时压缩数据,这似乎是python的go to选项.

有经验的人,可以告诉您这是一条合适的路线,还是有其他方法,就CPU和内存使用而言(将最少的CPU周期减少到减小的内存空间中),效率甚至更高.

解决方法:

我尝试使用您数据的重复性质.假设您以较长的顺序存储了数据,例如列表：

long_sequence = [0,1,1,1,1,2,1,1,1,1,1,1,1,3,1,2,2,2,2,2,2,2,4,4,4,4,4,4,4,4,4,3,4,1,1,1,1]

现在,我将两个连续元素之间的更改存储在元组列表中：

compressed_list = []
last_element = None
for i, element in enumerate(long_sequence):
    if element == last_element: continue
    else:
        compressed_list.append((i, element))
        last_element = element

# compressed_list: 
[(0, 0),
 (1, 1),
 (5, 2),
 (6, 1),
 (13, 3),
 (14, 1),
 (15, 2),
 (22, 4),
 (31, 3),
 (32, 4),
 (33, 1)]

现在,这可以解决存储问题,但是数据的访问在计算上仍然可能是昂贵的(使用纯python)：

def element_from_compressed_list_by_index(lst, idx):
     for (i, element), (next_i, _) in zip(lst, lst[1:]):
         if i <= idx < next_i: return element
     else: raise KeyError("No Element found at index {}".format(idx))
# This does not work for the last repetitive section of the sequence,
# but the idea gets across I think...

element_from_compressed_list_by_index(compressed_list, 3)
# Out: 1

sqlite数据库是读取和存储数据的更好方法.

import sqlite3 as sq
con = sq.connect(':memory') # would be a file path in your case

# create a database table to store the compressed list
con.execute("CREATE TABLE comp_store (start_index int, element int);")
# add the data
con.executemany("INSERT INTO comp_store (start_index, element) VALUES (?,?)", compressed_list)

要使用其索引(在下面的示例中为7)从数据库中获取一个元素,可以使用以下查询.

con.execute('SELECT element FROM comp_store WHERE start_index <= ? ORDER BY start_index DESC LIMIT 1', 
           (7,))

我认为PyTables仍然是正确的答案,据我所知,HDF5格式被开放源代码和专有产品广泛使用.但是,如果出于某种原因要使用python标准库,这也是一个不错的选择.

提示：python3中的zipand枚举函数比python2中的效率更高(实际上：惰性)…

标签：performance,pytables,sparse-matrix,arrays,python
来源： https://codeday.me/bug/20191110/2014885.html