impala 表迁移方式 partquet数据文件移动方法

1、原表查询：
select count(*) from edm.ucard_wxd0123 where stat_dt = '2024-01-09' and id_no = '110101199003072893'

 

2、查看数据文件

hadoop fs -ls /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09

Found 2 items
-rw-r--r--   3 impala hive      11173 2019-12-10 16:57 /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000000_894437036_data.0.parq
-rw-r--r--   3 impala hive      10051 2019-12-10 16:57 /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000001_1509455238_data.0.parq

 

3、创建一张表

create table edm.ucard_wxd0123_20191211 like edm.ucard_wxd0123

 

4、获取parquet 格式文件

hadoop fs -get  /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000000_894437036_data.0.parq
hadoop fs -get  /user/hive/warehouse/edm.db/ucard_wxd0123/stat_dt=2024-01-09/214b1691c9ed3b01-dfd95f5f00000001_1509455238_data.0.parq

 

5、创建分区目录

hadoop fs -mkdir /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=2024-01-09

 

6、上传partquet文件

hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000000_894437036_data.0.parq /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=2024-01-09/
hadoop fs -put 214b1691c9ed3b01-dfd95f5f00000001_1509455238_data.0.parq /user/hive/warehouse/edm.db/ucard_wxd0123_20191211/stat_dt=2024-01-09/

7、Hive中修复表信息

msck REPAIR TABLE edm.ucard_wxd0123_20191211;

 

8、Impala 中刷新元数据

Invalidate  metadata edm.ucard_wxd0123_20191211;

 

9、进行查询

select * from  edm.ucard_wxd0123_20191211;

可以显示结果

 

总结：我们可以迁移partquet 文件到指定分区，然后进行查询数据。

标签：01,数据文件,ucard,09,hive,edm,wxd0123,impala,partquet
来源： https://www.cnblogs.com/hello-wei/p/12022088.html