首页 > TAG信息列表 > hiveserver2
Hive-day09 HiveJDBC
Hive JDBC 启动hiveserver2 在使用Hive JDBC之前必须先启动客服端服务，这样用其他节点，或者idea就可以连接hive数据库，命令为： hive --service hiveserver2 & 或者 hiveserver2 & 新建maven项目并添加两个依赖 <dependency> <groupId>org.apache.hadoop</groupId>hive --service metastore
hiveserver2：如果要通过jdbc连接hive，则需要启动hiveserver2。常见jdbc客户端：beeline bin/hive --service metastore & metastore：提供一个数据接口，获取hive元数据。获取获取元数据的方式：1直连mysql获取2连接metastore，通过metastore连接mysql合并文件解决HiveServer2内存溢出方法
一、 背景 客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理；提出了解决此类问题的方案，具体内容如下。 二、HiveServer2内存溢出 2.1查看表文件个数 desc formatted yanyu.tmpshells/hiveserver2.sh
1 #!/bin/bash 2 function hiveserver2_stop(){ 3 pid=$(ps ax | grep "hiveserver2") 4 kill $pid || echo "hiveserver2服务已关闭" 5 } 6 case $1 in 7 "start"){ 8 echo "________________hiveServer2 服务 开启_____________Hive远程模式
前提：hive的本地模式与内嵌模式都已经完成 1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name&【hadoop】二、hive的hive2server配置
一、启动脚本配置 hive2server启动后需要等一会 netstat -nplt |grep 10000 查看是否启动 #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi #检查进程是否运行正常，参数 1 为进程名，参数 2 为进程端口 function check_HiveServer2 服务端配置
HiveServer2(HS2)是一种允许客户端对Hive执行查询的服务。HiveServer2是HiveServer1的后续版本。HS2支持多客户端并发和身份验证，旨在为JDBC、ODBC等开放API客户端提供更好的支持。 HS2包括基于Thrift的Hive服务（TCP或HTTP)和用于WebUI的JettyWeb服务器。 HiveServer2 作用： 为Hivehiveserver2发生gc问题解决
hiveserver2 发生gc以后导致远程jdbc连接hive会连接超时，解决办法 在hive-env.sh中修改HS2Heapsize的大小 在hive/bin/hive脚本里修改 # to initialize logging for all services # export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dlog4j.configurationFile=hive-log4j2.prdatagrip连接虚拟机的hive数据库
首先确认虚拟机的SSH服务已经启用。 下面是使用datagrip连接hive的具体操作。 Hive具有一个可选的组件叫做HiveServer或者HiveThrift，其允许通过指定端口访问Hive。要用datagrip访问虚拟机的hive数据库，首先要启用HiveServer2服务。 1.配置hive-site.xml 进入hive安装目录下的cHive架构及搭建方式
目录前言hive的基础知识基本架构metastore内嵌服务和数据库内嵌服务服务和数据库单独部署hcatalog客户端客户端的本地模式beelinebeeline的自动模式jdbc部署部署hiveserver2在hdfs中创建hive数据存放路径配置hive的环境变量配置日志输出路径hive的临时文件配置配置metastore 的DBhiveserver2 开启 ssl
配置 hive-site.xml： hive.server2.use.SSL - 将其设置为true。 hive.server2.keystore.path - 设置密钥路径。 hive.server2.keystore.password - 设置密码。2.【xhiveservice.sh】HIve集群启动脚本
#! /bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi # 检查进程是否正常运行，参数1为进程名，参数2为进程端口 function check_process(){ # 1 通过查看进程ps，获取pid ps_pid=$( ps -ef 2>/dev/null | greHiveServer2的负载均衡高可用与ActicePassive高可用浅析
负载均衡的高可用 最近在工作中遇到了hiveserver2需要部署高可用的场景，去网上搜索了解过后，用了绝大多数人推荐的共同方法： Property_name Property_value Description hive.server2.support.dynamic.service.discovery true（默认false） 使hiveserver2服务可被动态发现 hive.使用Zookeeper实现HiveServer2的HA
我使用的版本是hive-1.2.1 要使hive实现HA则首先需要需要将这些hive的配置指向同一个元数据库即配置如下： 在hive-site.xml中 然后在hive-site.xml中配置需要利用zk做HA的hive服务配置，我这里需要在marshal及marshal01机器上启动hive服务，且在这两台机器上做HA,所以zk信息写了2个：mhive认证kerberos后hiveserver2连接失败
beeline -u "jdbc:hive2://192.168.1.231:10000/;principal=hive/test01@PARA.COM"这是连接命令 报错： （上面的命令报错是因为kerberos的域名为三部分，这边少写了一部分） 下边报错后在CM页面看到hive Metastore运行不良，就去看了眼日志 ----------------------------------------hiveserver2的配置和启动
概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/HDP Hiveserver2搭建高可用
第一步：添加hiveserver2服务第二步：增加配置项 第三步：注册到分别有hiveserver2的机器上面执行命令[root@hadoop2 ~]# hiveserver2 第四步：验证，一个节点注册[zk: localhost:2181(CONNECTED) 4] ls /hiveserver2[serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequencHDP Hiveserver2搭建高可用
第一步：添加hiveserver2服务第二步：增加配置项 第三步：注册到分别有hiveserver2的机器上面执行命令[root@hadoop2 ~]# hiveserver2 第四步：验证，一个节点注册[zk: localhost:2181(CONNECTED) 4] ls /hiveserver2[serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequencDatax 使用RDBMS方式链接hiveserver2并查询数据
Datax 使用RDBMS方式链接hiveserver2并查询数据 Datax 介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步Datagrip连接Hive及常用配置
datagrip连接Hive客户端 1）启动datagrip后的初始页面 2）连接hive客户端 3）启动hiveserver2 hiveserver2 出现4个id启动成功 4）配置连接hive客户端参数 5）显示gmall数据库 6）显示控制台 7）在控制台上选择操作gmall数据库 常用配置 1）进入配置页面 2）修改字体大小 通过鼠标滚Hive启动的三种方式
方式1 配置了环境变量可以直接启动 hive 方式2 进入后台启动 hive --service hiveserver2 & 特点: 可以单独启动此服务进程，供远程客户端连接；此服务内置metastore服务。 方式3 hive --service metastore 2>&1 >/dev/null & beeline -u jdbc:hive2://192.168.10.101:100数仓工具—Hive的HiveServer2服务(14)
HiveServer 简介 今天我们学习一下Hive 架构中的重要一员HiveServer2或者是HiveServer1，HiveServer2使得其他语言访问Hive 成为了可能，其他语言通过连接HiveServer2服务提供的接口进而访问Hive,HiveServer2还引入了一个客户端，那就是大名鼎鼎的BeeLine,BeeLine 是一个通过JDBC配置hiveserver2
需要准备 hadoop-2.6.0-cdh5.7.0 、jdk1.8.0_161 、zookeeper-3.4.5-cdh5.7.0、 hive-1.1.0-cdh5.7.0 1.在hadoop 的etc/hadoop/目录中的文件 core-site.xml 添加下面代码 ，其中颜色标记部分为你的主机名 <property> <name>hadoop.proxyuser.root.hosts</name>Ambari 配置kerberos以后，，启动hiveserver2异常
异常信息如下： 解决办法： 1、 hadoop.proxyuser.hive.hosts=HS2_HOST hadoop.proxyuser.hive.groups=* Or 2、 In Hive > Configs > Custom hive-site.xml, add the following: hive.metastore.event.db.notification.api.auth=false 借鉴： https://www.cnblogs.com/felixzh/p/1079【转】Java通过Kerberos认证连接hiveServer2【JDBC及Thrift方式】
使用Java连接Kerberos认证的Hadoop集群服务，最重要是首先要通过Java进行Kerberos认证，剩下的连接操作，就没有什么太多差别。 废话不说，上代码： KerberosLogin 程序开始要先使用该方法进行kerberos认证。类似操作系统里kinit，这步就相当于在JVM里做了kini