python – 在pytables中优化复杂的table.where()查询？

我有一个非常大的数据库 – 我正在使用一个350米行的子集,但最终它将是大约3b行.我的全部目标是在这个数据库上优化特定类型的查询,但代价是除了内存以外的所有内容.我正在使用的db文件在PyTables版本2.3.1上使用blosc在1级压缩(我可以更新,如果这会有帮助的话).每行有十三个条目 – 典型条目如下所示：

['179', '0', '1', '51865852', '51908076', '42224', '22', '2', '20', '22', '2', '0.0516910530103', '0.0511359922511']

它们都是数字的,但不一定是同一类型.我目前正在将它们存储在PyTables表中,具有以下定义：

ind = tables.UInt16Col(pos=0)
hap = tables.UInt8Col(pos=1)
chrom = tables.UInt8Col(pos=2)
hap_start = tables.Int32Col(pos=3)
hap_end = tables.Int32Col(pos=4)
hap_len = tables.Int16Col(pos=5)
mh_sites = tables.Int16Col(pos=6)
mh_alt = tables.Int16Col(pos=7)
mh_n_ref = tables.Int16Col(pos=8)
all_sites = tables.Int16Col(pos=9)
all_alt = tables.Int16Col(pos=10)
freq = tables.Float32Col(pos=11)
std_dev = tables.Float32Col(pos=12)

我真的不在乎设置这个数据库需要多长时间 – 我最终会创建它一次然后只是访问它.我的查询形式如下：

a = [ x[:] for x in hap_table.where('''(mh_sites == 15) & (hap_len > 25000) & (hap_len < 30000) & (freq > .38) & (freq < .4) & (std_dev > .3) & (std_dev < .4)''')]

基本上我正在搜索与给定容差周围的特定行匹配的条目.在我较小的数据库(350米行)上,如果我索引了我正在搜索的所有四列,那么该查询需要38秒：

byteorder := 'little'
chunkshape := (32768,)
autoIndex := True
colindexes := {
  "hap_len": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "freq": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "std_dev": Index(6, medium, shuffle, zlib(1)).is_CSI=False,
  "mh_sites": Index(6, medium, shuffle, zlib(1)).is_CSI=False}

如果我事先没有索引,则为10秒.我不确定我理解为什么索引数据库上的查询速度较慢..也许索引创建了不必要的开销？

就像我说的,我的目标是尽可能地优化这种类型的查询 – 基本上除了内存使用之外的一切(我想使用大约2G,并且真的不想使用超过5G).我试过索引,它似乎不起作用.我的所有查询都是mh_sites的单个值,并且只有大约100个可能的值,所以我考虑将它分成多个表,所以我只是在任何时候搜索数据的一个子集(尽管我除了mydata.root.table_1,mydata.root.table_2等之外,我不完全确定如何做到这一点.我还想过尝试将它存储为数组 – 也许是一个浮点数组,然后当我需要使用它们时将其他所有内容转换为int？如果它有所不同,我的查询通常会返回20k到500k的结果.

有关优化此查询的任何建议吗？

解决方法:

我想出了如何让它更快 – 我的解决方案可以帮助其他人,所以我在这里发布它.

我对PyTables中的索引如何工作感到困惑.我认为CSI实际上会对数据进行排序,但事实并非如此 – 一旦你追加一组行,它们总是按照这个顺序排列.对我来说,在插入数据之前对数据进行排序是非常值得的.我的查询时间减少了1-2个数量级.

这也解释了为什么索引表实际上增加了查询时间 – 因为行基本上是随机分布的,我需要为每个查询读取整个数据库.因此,如果pytables可以使用索引来确定哪些块是必需的,那么无关紧要,因为它无论如何都需要读取所有块.因此,当数据未排序时,索引只是增加了开销.使用排序表,索引肯定有帮助.

标签：python,pytables
来源： https://codeday.me/bug/20190520/1141971.html