[Notes] pandas 保存hdf5时numpy array遇到的性能warning
作者:互联网
当dataframe中有元素为numpy array时,进行pandas.HDFStore.put时会报warning:
your performance may suffer as PyTables will pickle object types that it cannot
map directly to c-types [inferred_type->mixed,key->block1_values]
这是因为Pandas所支持的数据类型:
- float
- int
- bool
- datetime64[ns]
- datetime64[ns, tz]
- timedelta[ns]
- category
- object
而numpy的array,python的string等无法直接映射为上述的结构,因此无法按照pandas的数据结构保存。
参考:https://blog.csdn.net/ls83776736/article/details/80738473?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.control
这种情况下,会表示为object类型,以不定长的方式存储(存储指针)。
标签:hdf5,default,Notes,blog,warning,array,ns,numpy,pandas 来源: https://www.cnblogs.com/immortalBlog/p/14636817.html