数据清洗第四章课后操作题

数据清洗第四章课后操作题
一. CSV文件的抽取
1.打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能。

2.双击CSV文件输入控件，进入“CSV文件输入”界面，点击浏览，选取文件csv_extract.csv

3.点击获取字段按钮，Kettle自动检索CSV文件，对文件中的字段类型，格式，长度，精度等属性进行分析。


4.双击“表输出”控件，进入表输出界面，点击“新建”按钮，进行配置数据库连接，勾选指定数据库字段复选框，将csv_extract.csv中的字段进行匹配，选择“数据库字段”选项卡。
连接数据库：


“输入字段映射”按钮，弹出“映射匹配对话框”，一次选中“源字段”中的和“目标字段”中的字段，再点击Add按钮，将一对映射字段添加至映射框中。


点击运行，CSV文件中的数据已经被导入数据表中。

二.JSON数据的抽取
1.使用Kettle工具创建转换json_extract.json，并添加JSON input控件、“表输出”控件以及Hop跳连接线，用于抽取JSON文件种的Key值为id，field和value的数据，并保存至数据表json中。

2.配置JSON input控件
双击JSON input控件，进入“JSON 输入”界面。
点击浏览按钮，选择抽取的json_extract.json，点击“增加”按钮，将选择文件添加至“选中文件处”。

单击“字段”选项卡，进入“字段选项卡”界面，添加要抽取的字段。

3.双击JSON input2控件，进入“JSON 输入”界面，勾选“源定义在一个字段里？”复选框，在“从字段获取源”后下拉列表中选择字段名，即data。

4.点击“字段”选项卡，进入“字段”选项卡界面。添加从字段data中抽取的field和value字段。

5.配置“表输出”控件
双击“表输出”控件，进入“表输出”界面

6.连接数据库
点击右侧“浏览”按钮，选择输出目标表，即数据表json。

点击“字段”选项卡，单击“输入字段映射”按钮，弹出“映射匹配”对话框。

单击“映射匹配”对话框中的“确认”按钮。

三.XML文件的抽取
1.使用Kettle工具创建转换xml_extract，并添加Get data from XML控件，“表输出”控件，以及Hop跳连接线，用于实现抽取XML文件中的标签testDescription、rowID、v1以及v2中的数据。

2.双击Get data from XML控件，进入“XML文件输入”界面

点击“增加”按钮，将所选择的文件路径添加到“选中的文件和目录”处

点击“内容”选项卡，点击“获取XML文档的所有路径”，添加循环读取路径，即AllRows/Rows/Row。


双击表“表输出”控件，进入“表输出”界面。

点击“浏览”按钮，选择输出的目标表

勾选“指定数据可字段”复选框，用于将数据表xml字段与XML文件里的字段进行匹配。

标签：控件,文件,操作题,JSON,点击,课后,按钮,双击,第四章
来源： https://blog.csdn.net/weixin_46986606/article/details/120635423