其他分享
首页 > 其他分享> > datawhale 动手做深度学习 第一节

datawhale 动手做深度学习 第一节

作者:互联网

1 第一章:数据载入及初步观察

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 任务一:导入numpy和pandas

import numpy as np
import pandas as pd

1.1.2 任务二:载入数据

(1) 使用相对路径载入数据 (2) 使用绝对路径载入数据

#写入代码
import os
os.getcwd()
data = pd.read_csv('train.csv')
data
data2 = pd.read_table('train.csv')
#data2
#写入代码
data1=pd.read_csv('E:\\人工智能学习\\hands-on-data-analysis-master\\第一单元项目集合\\train.csv')
data1
#在使用绝对路径载入数据时报错 OSError: [Errno 22] Invalid argument,解决方法是手打一遍路径,不直接复制粘贴,复制黏贴就会出现此错误
【思考】知道数据加载的方法后,试试pd.read_csv()和pd.read_table()的不同,如果想让他们效果一样,需要怎么做?了解一下'.tsv'和'.csv'的不同,如何加载这两个数据集?

答:read_table的默认分隔符为"\t" pd.read_csv输出的数据是多少个特征就多少列,而pd.read_table()是无论多少特征只有一列 tsv用制表符"/t"分隔,csv则是用','作为字符分隔符

1.1.3 任务三:每1000行为一个数据模块,逐块读取

#写入代码
chunker = pd.read_csv('train.csv', chunksize=1000)
print(type(chunker))
for chunker in data:
  print(chunker)
<class 'pandas.io.parsers.TextFileReader'>
PassengerId
Survived
Pclass
Name
Sex
Age
SibSp
Parch
Ticket
Fare
Cabin
Embarked

【思考】什么是逐块读取?为什么要逐块读取呢?

每次进行迭代的时候是一个DataFrame的结构,逐块读取可以减少资源消耗,提高效率

1.1.4 任务四:将表头改成中文,索引改为乘客ID [对于某些英文资料,我们可以通过翻译来更直观的熟悉我们的数据]

#写入代码
#方法1
data = pd.read_csv('train.csv', names=['乘客ID', '是否幸存', '乘客等级(1/2/3等舱位)', '乘客姓名', '性别', '年龄', '堂兄弟/妹个数', '父母与小孩个数', '船票信息', '票价', '客舱', '登船港口'],index_col='乘客ID', header=0 )
#方法2
df1=pd.read_csv('train.csv')
df1.rename(columns={'Survived':'是否幸存', 'Pclass':'仓位等级', 'name':'姓名'}, inplace = True)#可以修改部分或者全部
#方法3
df2=pd.read_csv('train.csv')
df2.columns=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']
#该方法的新列名必须要与原列名一一对应
data
df1.head()
df2.head()

【思考】所谓将表头改为中文其中一个思路是:将英文列名表头替换成中文。还有其他的方法吗?

没想到

1.2 初步观察

导入数据后,你可能要对数据的整体结构和样例进行概览,比如说,数据大小、有多少列,各列都是什么格式的,是否包含null等

1.2.1 任务一:查看数据的基本信息

#写入代码
data.info()

【提示】有多个函数可以这样做,你可以做一下总结

1.2.2 任务二:观察表格前10行的数据和后15行的数据

data.head(10)
data.tail(15)
data.iloc[-15:,:]

1.2.4 任务三:判断数据是否为空,为空的地方返回True,其余地方返回False

data.isnull()

1.3 保存数据

1.3.1 任务一:将你加载并做出改变的数据,在工作目录下保存为一个新文件train_chinese.csv

# 注意:不同的操作系统保存下来可能会有乱码。大家可以加入`encoding='GBK' 或者 ’encoding = ’utf-8‘‘`
data.to_csv('saved_train.csv',encoding='gbk')

【总结】数据的加载以及入门,接下来就要接触数据本身的运算,我们将主要掌握numpy和pandas在工作和项目场景的运用。

1.4 知道你的数据叫什么

我们学习pandas的基础操作,那么上一节通过pandas加载之后的数据,其数据类型是什么呢?

开始前导入numpy和pandas

In [4]:

import numpy as np
import pandas as pd

1.4.1 任务一:pandas中有两个数据类型DateFrame和Series,通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子

标签:动手做,数据,第一节,datawhale,train,DataFrame,pd,csv,data
来源: https://www.cnblogs.com/peachTao/p/15690345.html