常用pandas清洗数据命令

pandas清洗数据常用命令
安装jupyter notebook
启动 jupyter
可以在里面编写python代码

1、 加载数据 df = pd.DataFrame(pd.read_excel(‘test.xlsx’))
2、显示数据的几行几列 （980，13） df.shap
3、去除显示信息时中间的省略号 pd.set_option(‘display.width’,None)
{因为在pandas中默认读取文件显示是按照最小内存来读取的，所以使用这代码设置读取文件长度
没有限制即不省略中间的部分}
4、设置行与行之间不省略 df.set_option(‘display.max_rows’, None)
{ 详情见：http://www.cnblogs.com/zhuPython/p/9258950.html }
5、是空值就显示True不是就false df.isnull()
和isnull相反 df.notnull()
6、去除含有空值的行 df.dropna()
7、对空值进行填充（任意值或0） df.fillna(0)
8、去除重复值 df.drop_duplicates()
9、对指定值进行替换
{ 详见：https://www.jianshu.com/p/2557a805211f }
①、普通替换(只替换整个，不会查询部分） df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,‘替换’)
{ 也就是只查询单元格中整个内容符合替换条件不，如果一部分符合不替换 加上inplace = true
参数对文本进行操作 }
②、可以替换成空即删除多余的内容 df[‘户型面积’] = df[‘户型面积’].str.replace(‘平米’,’’)
{ 这中形式同样可以解决①中的只查询替换整个单元格的问题 }
③、可以使用正则表达式替换 df[‘户型面积’] = df[‘户型面积’].replace(‘平米’,‘替换’)
{ 要加参数reges = true表示使用正则表达式 }
10、把一列数据分割 df[‘A’],df[‘B’] = df[‘AB’].str.split(’~’,1).str
11、检查该列是否都是字符 loandata[‘emp_length’].apply(lambda x: x.isalpha())
数字 loandata[‘emp_length’].apply(lambda x: x.isalnum())
字母 loandata[‘emp_length’].apply(lambda x: x.isdigit())
12、统计该列各种字段的数量 df[‘城市’].value_counts()
13、用replace去除指定的值 http://www.cnblogs.com/massquantity/massquantity/p/9280905.html
14、查看统计结果是false的所有列 df2 = df[df[‘售价’].apply(lambda x: x.isalnum())==False]
15、dataframe转化为数组 np.array(df) df.as_matrix()
16、异常值检查

标签：常用,df,户型,替换,apply,清洗,replace,pandas,lambda
来源： https://blog.csdn.net/weixin_42390218/article/details/90574174