python-将大量csv文件导入PostgreSQL数据库的有效方法
作者：互联网
我看到了很多将CSV导入PostgreSQL数据库的示例,但是我需要的是将500,000 CSV导入单个PostgreSQL数据库的有效方法.每个CSV都超过500KB(因此总计约272GB的数据).
CSV的格式相同,没有重复的记录(数据是通过原始数据源以编程方式生成的).我一直在搜索,并将继续在线搜索选项,但是对于以最有效的方式完成此操作的任何指导,我将不胜感激.我确实有使用Python的经验,但是会深入研究其他任何合适的解决方案.
谢谢！
解决方法:
如果您先阅读PostgreSQL guide “Populating a Database”,则会看到一些建议：
>在单个事务中加载数据.
>尽可能使用COPY.
>在加载数据之前删除索引,外键约束等,然后再恢复它们.
PostgreSQL的COPY statement已经支持CSV格式：
COPY table (column1, column2, ...) FROM '/path/to/data.csv' WITH (FORMAT CSV)
因此,似乎最好不要使用Python,或者仅使用Python生成所需的COPY语句序列.
标签：python,csv,import,postgresql-9-1 来源： https://codeday.me/bug/20191010/1887848.html