其他分享
首页 > 其他分享> > 07-Hive

07-Hive

作者:互联网

一、Hive

1、简介

Hive是一个数据仓库软件。

Hive主要使用HQL(类sql)来分析已经存储在分布式设备(HDFS)上的数据!

Hive的本质是将用户编写的HQL,转换为MR程序,对数据进行分析!

Hive分析的数据必须是结构化的数据,在分析之前,用户需要对数据创建表结构!

Hive的表结构(shema)存储在关系型数据库中,数据是存储在HDFS上,二者通过表进行映射!

Hive基于OLAP设计,基于OLAP设计的软件,一般重分析,延时高!

2、安装

① 保证环境变量中有JAVA_HOME

② 基于HADOOP工作,保证环境变量中有HADOOP_HOME

③ 在环境变量中配置HIVE_HOME,默认hive在启动时,会读取HIVE_HOME/conf中的配置文件

3、配置

① 自定义hive的一些属性,需要在conf/hive-site.xml文件,配置自定义的属性

参数读取的顺序: hadoop中的8个配置文件------>hive-default.xml------>hive-site.xml----->hive --hiveconf x=x

② 修改hive输出日志的位置:修改conf/hive-log4j-properties文件

4、元数据存储

hive默认将元数据存储在derby中!

derby数据库适合在一些Java开发的程序中作为内嵌的数据库!但是derby不支持多个实例同时访问一个库!

将hive的元数据存储位置修改为存放在mysql中!

注意: ① 元数据存储的数据库的编码必须为latin1
       ② mysql的 binlog_format=mixde|row

5、hive的交互参数

-d: 定义一个 变量名=变量值,在hivecli中可以使用 ${变量名}来读取变量值

-e: 执行一个引号引起来的sql语句,执行后返回结果,退出cli,用在脚本中!

-f: 执行一个sql文件,执行后返回结果,退出cli,用在脚本中!

-S: 静默模式,不输出和结果无关的多余信息

--hiveconf 属性名=属性值,在hivecli启动之前定义一个属性名

6、在hive中如何查看变量

set: 查看当前cli所有的变量

set 变量名: 查看某个指定变量的值

set 变量名=变量值: 修改某个变量的值

7、连接hive的方式

① 使用hivecli

② 可以使用JDBC方式连接hive

  a)启动JDBC的服务端----hiveserver2
  b)使用JDBC方式的客户端来访问

    beeline !connect 'jdbc:hive2://hiveserver2服务运行的主机名:10000'
    使用其他JDBC客户端

8、hive中常用的命令

在hive中使用hdfs: dfs 命令

在hive中使用shell命令: ! shell命令

9、数据类型

在hive中最常用的数据类型就是String。

基本数据类型中,低精度的类型和高精度的类型进行计算时,hive会自动进行隐式转换,将低精度转为高精度!

boolean类型无法进行隐式转换

使用cast(值 as 类型)进行强制转换

集合类型:

10、数据的格式

hive只能分析结构化的数据!在使用hive之前,需要对数据进行ETL,转为结构化的数据!

在建表时,需要指定正确的分隔符,不然hive在读取每行数据时,无法将字段和数据进行映射!

11、hive的本质

在hive中创建的表,库都在hdfs上有相应的路径!

表中的数据,是文件的形式在表对应的目录中存放!

在建表和建库后,会在Mysql中生成对应的shema信息!

tbls: 存放表的元数据

dbs: 库的元数据

column_v2: 列的元数据

二、库操作

1、增

create database if not exists 库名

comment 库的注释

location 库的路径

with dbproperties(属性名=属性值,...)

2、删

drop database 库名: 删除空库

drop database 库名 cascade: 删除非空库

3、改

alter database 库名 set dbproperties(属性名=属性值,...)

4、查

show databases: 查看所有库

show tables in 库名: 查看库中的表

desc database 库名:查看某个库的描述

desc database extended 库名:查看某个库的详细描述

三、表操作

1、 创建

create [external] table if not exists 表名
(列名 列类型 comment 列注释,...)
comment 表的注释
.....
row format ... //表中每行数据的格式
store as xxxx //表中数据的存储格式
location //表的路径

创建表,带external,这个表是外部表,不带是管理表(内部表)

外部表在删除表时,只删除mysql中的元数据!
管理表在删除表时,删除mysql中的元数据和在hdfs表目录中的数据!

表是廉价的,数据是珍贵的,一般都建议外部表!

外部表: alter table 表名 set tblproperties('EXTERNAL'='TRUE')
内部表: alter table 表名 set tblproperties('EXTERNAL'='FALSE')

标签:set,07,hive,Hive,库名,数据,属性
来源: https://www.cnblogs.com/dongchao3312/p/15978409.html