统计超大csv文件 超千万行

%%time
import dask.dataframe as dd ##需要安装dask模块：pip install dask
filename = '123.csv'#需要统计csv路径名+文件名
df = dd.read_csv(filename,usecols=['date'])#需要统计的列名
print("总行数为:",len(df))
#对于超过千万行的csv进行统计 可以尝试使用dask模块的read_csv进行统计。

对于超过千万行的csv进行统计 可以尝试使用dask模块的read_csv进行统计。

Dask is a flexible library for parallel computing in Python.

标签：read,超大,千万,filename,dask,模块,csv,统计
来源： https://blog.csdn.net/wr200909009/article/details/119106751