Python-在特定目录中串联CSV文件

我正在尝试从桌面上的文件夹连接CSV文件：

C:\\Users\\Vincentc\\Desktop\\W1 

并将最终的CSV输出到：

C:\\Users\\Vincentc\\Desktop\\W2\\conca.csv

CSV文件没有标题.但是,当我运行脚本时没有任何反应,也没有错误消息.我是一个初学者,有人可以看看下面的代码,非常感谢！

import os
import glob
import pandas

def concatenate(indir="C:\\Users\\Vincentc\\Desktop\\W1",outfile="C:\\Users\\Vincentc\\Desktop\\W2\\conca.csv"):
    os.chdir(indir)
    fileList=glob.glob("indir")
    dfList=[]
    for filename in fileList:
        print(filename)
        df=pandas.read_csv(filename,header=None)
        dfList.append(df)
    concaDf=pandas.concat(dfList,axis=0)
    concaDf.to_csv(outfile,index=None)

解决方法:

仅出于串联目的将csv文件加载到熊猫中效率低下.有关更直接的选择,请参见this answer.

如果您坚持要使用熊猫,那么第三方图书馆的dask提供了一个直观的界面：

import dask.dataframe as dd

df = dd.read_csv('*.csv')  # read all csv files in directory lazily
df.compute().to_csv('out.csv', index=False)  # convert to pandas and save as csv

标签：concat,csv,concatenation,python
来源： https://codeday.me/bug/20191109/2011009.html