其他分享
首页 > 其他分享> > Hive内部表与外部表

Hive内部表与外部表

作者:互联网

一:概念

1.内部表:未被external修饰的是内部表(managed table)

2.外部表:被external修饰的为外部表(external table)

 

区别:

1.管理方式:

内部表由hive管理,存储位置位于hive的元数据管理处;外部表由HDFS管理;

2.存储位置:

内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外部表数据的存储位置由自己制定(如果没有LOCATION,Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里);
3.注意事项:

删除内部表会直接删除元数据(metadata)及存储数据;删除外部表仅仅会删除元数据,HDFS上的文件并不会被删除;
对内部表的修改会将修改直接同步给元数据,而对外部表的表结构和分区进行修改,则需要修复(MSCK REPAIR TABLE table_name;)

 

二:使用场景

1. 每天收集到的网站数据,需要做大量的统计数据分析,所以在数据源上可以使用外部表进行存储,方便数据的共享,

在做统计分析时候用到的中间表,结果表可以使用内部表,因为这些数据不需要共享,使用内部表更为合适。

2.一般情况下,在企业内部都是使用外部表的。因为会有多人操作数据仓库,可能会产生数据表误删除操作,为了数据安全性,通常会使用外部表。

当个人写测试代码的时候,可以使用内部表,这样当自己使用完成后,可以方便直接删除

 

标签:存储,内部,删除,外部,hive,表与,Hive,数据
来源: https://www.cnblogs.com/changfan/p/15496138.html