首页 > TAG信息列表 > hiveserver2

Hive-day09 HiveJDBC

Hive JDBC 启动hiveserver2 在使用Hive JDBC之前必须先启动客服端服务,这样用其他节点,或者idea就可以连接hive数据库,命令为: hive --service hiveserver2 & 或者 hiveserver2 & 新建maven项目并添加两个依赖 <dependency> <groupId>org.apache.hadoop</groupId>

hive --service metastore

  hiveserver2:如果要通过jdbc连接hive,则需要启动hiveserver2。常见jdbc客户端:beeline bin/hive --service metastore & metastore:提供一个数据接口,获取hive元数据。获取获取元数据的方式:1直连mysql获取2连接metastore,通过metastore连接mysql

合并文件解决HiveServer2内存溢出方法

一、   背景   客户现场的CDH6.x版本的集群执行一个大分区表时hiveserver2发生了内存溢出。下面针对该问题进行了复现并深入了解了hiveserver2内存加载使用原理;提出了解决此类问题的方案,具体内容如下。 二、HiveServer2内存溢出 2.1查看表文件个数 desc formatted yanyu.tmp

shells/hiveserver2.sh

  1 #!/bin/bash 2 function hiveserver2_stop(){ 3 pid=$(ps ax | grep "hiveserver2") 4 kill $pid || echo "hiveserver2服务已关闭" 5 } 6 case $1 in 7 "start"){ 8 echo "________________hiveServer2 服务 开启_____________

Hive远程模式

前提:hive的本地模式与内嵌模式都已经完成 1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name&

【hadoop】二、hive的hive2server配置

一、启动脚本配置 hive2server启动后需要等一会 netstat -nplt |grep 10000 查看是否启动   #!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi #检查进程是否运行正常,参数 1 为进程名,参数 2 为进程端口 function check_

HiveServer2 服务端配置

HiveServer2(HS2)是一种允许客户端对Hive执行查询的服务。HiveServer2是HiveServer1的后续版本。HS2支持多客户端并发和身份验证,旨在为JDBC、ODBC等开放API客户端提供更好的支持。 HS2包括基于Thrift的Hive服务(TCP或HTTP)和用于WebUI的JettyWeb服务器。 HiveServer2 作用: 为Hive

hiveserver2发生gc问题解决

hiveserver2 发生gc以后导致远程jdbc连接hive会连接超时,解决办法 在hive-env.sh中修改HS2Heapsize的大小 在hive/bin/hive脚本里修改 # to initialize logging for all services # export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dlog4j.configurationFile=hive-log4j2.pr

datagrip连接虚拟机的hive数据库

首先确认虚拟机的SSH服务已经启用。 下面是使用datagrip连接hive的具体操作。 Hive具有一个可选的组件叫做HiveServer或者HiveThrift,其允许通过指定端口访问Hive。要用datagrip访问虚拟机的hive数据库,首先要启用HiveServer2服务。 1.配置hive-site.xml 进入hive安装目录下的c

Hive架构及搭建方式

目录前言hive的基础知识基本架构metastore内嵌服务和数据库内嵌服务服务和数据库单独部署hcatalog客户端客户端的本地模式beelinebeeline的自动模式jdbc部署部署hiveserver2在hdfs中创建hive数据存放路径配置hive的环境变量配置日志输出路径hive的临时文件配置配置metastore 的DB

hiveserver2 开启 ssl

配置 hive-site.xml: hive.server2.use.SSL - 将其设置为true。 hive.server2.keystore.path - 设置密钥路径。 hive.server2.keystore.password - 设置密码。

2.【xhiveservice.sh】HIve集群启动脚本

#! /bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] then mkdir -p $HIVE_LOG_DIR fi # 检查进程是否正常运行,参数1为进程名,参数2为进程端口 function check_process(){ # 1 通过查看进程ps,获取pid ps_pid=$( ps -ef 2>/dev/null | gre

HiveServer2的负载均衡高可用与ActicePassive高可用浅析

负载均衡的高可用 最近在工作中遇到了hiveserver2需要部署高可用的场景,去网上搜索了解过后,用了绝大多数人推荐的共同方法: Property_name Property_value Description hive.server2.support.dynamic.service.discovery true(默认false) 使hiveserver2服务可被动态发现 hive.

使用Zookeeper实现HiveServer2的HA

我使用的版本是hive-1.2.1 要使hive实现HA则首先需要需要将这些hive的配置指向同一个元数据库即配置如下: 在hive-site.xml中 然后在hive-site.xml中配置需要利用zk做HA的hive服务配置,我这里需要在marshal及marshal01机器上启动hive服务,且在这两台机器上做HA,所以zk信息写了2个:m

hive认证kerberos后hiveserver2连接失败

 beeline -u "jdbc:hive2://192.168.1.231:10000/;principal=hive/test01@PARA.COM"这是连接命令 报错:  (上面的命令报错是因为kerberos的域名为三部分,这边少写了一部分) 下边报错后在CM页面看到hive Metastore运行不良,就去看了眼日志 ----------------------------------------

hiveserver2的配置和启动

概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/

HDP Hiveserver2搭建高可用

第一步:添加hiveserver2服务第二步:增加配置项      第三步:注册到分别有hiveserver2的机器上面执行命令[root@hadoop2 ~]# hiveserver2 第四步:验证,一个节点注册[zk: localhost:2181(CONNECTED) 4] ls /hiveserver2[serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequenc

HDP Hiveserver2搭建高可用

第一步:添加hiveserver2服务第二步:增加配置项      第三步:注册到分别有hiveserver2的机器上面执行命令[root@hadoop2 ~]# hiveserver2 第四步:验证,一个节点注册[zk: localhost:2181(CONNECTED) 4] ls /hiveserver2[serverUri=0.0.0.0:10000;version=1.2.1.2.3.4.0-3485;sequenc

Datax 使用RDBMS方式链接hiveserver2并查询数据

Datax 使用RDBMS方式链接hiveserver2并查询数据 Datax 介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步

Datagrip连接Hive及常用配置

datagrip连接Hive客户端 1)启动datagrip后的初始页面 2)连接hive客户端 3)启动hiveserver2 hiveserver2 出现4个id启动成功 4)配置连接hive客户端参数 5)显示gmall数据库 6)显示控制台 7)在控制台上选择操作gmall数据库 常用配置 1)进入配置页面 2)修改字体大小 通过鼠标滚

Hive启动的三种方式

方式1 配置了环境变量可以直接启动 hive 方式2 进入后台启动 hive --service hiveserver2 & 特点: 可以单独启动此服务进程,供远程客户端连接;此服务内置metastore服务。 方式3 hive --service metastore 2>&1 >/dev/null & beeline -u jdbc:hive2://192.168.10.101:100

数仓工具—Hive的HiveServer2服务(14)

HiveServer 简介 今天我们学习一下Hive 架构中的重要一员HiveServer2或者是HiveServer1,HiveServer2使得其他语言访问Hive 成为了可能,其他语言通过连接HiveServer2服务提供的接口进而访问Hive,HiveServer2还引入了一个客户端,那就是大名鼎鼎的BeeLine,BeeLine 是一个通过JDBC

配置hiveserver2

需要准备 hadoop-2.6.0-cdh5.7.0 、jdk1.8.0_161 、zookeeper-3.4.5-cdh5.7.0、 hive-1.1.0-cdh5.7.0 1.在hadoop 的etc/hadoop/目录中的文件  core-site.xml  添加下面代码 ,其中颜色标记部分为你的主机名 <property>   <name>hadoop.proxyuser.root.hosts</name>

Ambari 配置kerberos以后,,启动hiveserver2异常

异常信息如下: 解决办法: 1、 hadoop.proxyuser.hive.hosts=HS2_HOST hadoop.proxyuser.hive.groups=* Or 2、 In Hive > Configs > Custom hive-site.xml, add the following: hive.metastore.event.db.notification.api.auth=false 借鉴: https://www.cnblogs.com/felixzh/p/1079

【转】Java通过Kerberos认证连接hiveServer2【JDBC及Thrift方式】

 使用Java连接Kerberos认证的Hadoop集群服务,最重要是首先要通过Java进行Kerberos认证,剩下的连接操作,就没有什么太多差别。           废话不说,上代码:          KerberosLogin 程序开始要先使用该方法进行kerberos认证。类似操作系统里kinit,这步就相当于在JVM里做了kini