presto安装和集成kerberos的hive
作者：互联网
安装
下载安装包
presto官网：https://prestodb.io/
- presto-server下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.tar.gz
- presto-cli客户端下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.248/presto-cli-0.248-executable.jar
- JDBC DRIVER 下载连接：https://repo1.maven.org/maven2/com/facebook/presto/presto-jdbc/0.248/presto-jdbc-0.248.jar
解压presto-server包
tar -zxvf presto-server-0.248.tar.gz
文件目录结构如下
drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin
drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib
-rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE
drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin
-rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt
创建etc目录
mkdir etc
结构如下：
drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bin
drwxrwxr-x 3 rong rong 4096 Mar 29 15:08 etc
drwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib
-rw-r--r-- 1 rong rong 191539 Mar 5 02:48 NOTICE
drwxrwxr-x 33 rong rong 4096 Mar 29 09:54 plugin
-rw-r--r-- 1 rong rong 126 Mar 5 02:48 README.txt
在etc目录创建需要配置文件
1. 创建config.propertie
touch config.properties
内容如下：
# 指定是否运维Presto实例作为一个coordinator(接收来自客户端的查询情切管>理每个查询的执行过程)
coordinator=true
# 是否允许在coordinator服务中进行调度工作,
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=100MB
query.max-memory-per-node=100MB
query.max-total-memory-per-node=100MB
discovery-server.enabled=true
discovery.uri=http://dx-dev-test1028:8080
# 如果节点是worker 则是以下配置
# coordinator=false
# http-server.http.port=8080
# query.max-memory=50GB
# query.max-memory-per-node=1GB
# query.max-total-memory-per-node=2GB
# discovery.uri=http://example.net:8080
~
2. 创建jvm.config
touch jvm.config
内容如下：
-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf
注意：如果集群没有集成kerberos，配置最后一行需要去掉。
3. 创建log.properties
配置日志级别
touch log.properties
内容如下：
com.facebook.presto=INFO
4. 创建node.properties
touch node.properties
内容如下：
# 集群名称, 所有在同一个集群中的Presto节点必须拥有相同的集群名称
node.environment=production
# 每个Presto节点的唯一标示。每个节点的node.id都必须是唯一的
node.id=dx-dev-test1028
#该路径要自己创建 随意的目录
node.data-dir=/var/presto/data
在etc目录下创建catlog目录
mkdir catalog
在catalog目录下配置数据源
1. 配置mysql数据源
touch mysql.properties
内容如下：
connector.name=mysql
connection-url=jdbc:mysql://dx-dev-test1028:3306
connection-user=root
connection-password=root
2. 配置hive数据源（没权限）
touch hive.properties
内容如下:
# name后面为固定写法
connector.name=hive-hadoop2
# 需要启动hive metastore服务
hive.metastore.uri=thrift://dx-dev-test1026:9083
# hadoop集群的配置文件目录
hive.config.resources=${HADOOP_HOME}/etc/hadoop/core-site.xml,${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
客户端配置
将客户端放到 ${PRESTO_HOME}/bin 下：
mv presto-cli-0.248-executable.jar ${PRESTO_HOME}/bin
修改名称为 presto ,并赋予执行权限 chmod +x
mv presto-cli-0.248-executable.jar presto
# 赋权执行权限
chmod +x presto
测试
--启动服务
bin/launcher run
--启动客户端
./presto --server hadoop001:8080 --catalog myslq
集成kerberos
生成persto主体的princal
kadmin.local -q "addprinc -randkey presto/admin@RONG360.COM"
kadmin.local -q "xst -norandkey -k presto.keytab presto/admin@RONG360.COM"
集成Kerberos环境Hive
1. 修改hive.properties
connector.name=hive-hadoop2
#需要启动hive metastore服务
hive.metastore.uri=thrift://dx-dev-test1026:9083
#配置Presto访问HiveMetastore服务的Kerberos信息，该段配置可以只存在Presto的Coordinator节点
hive.metastore.authentication.type=KERBEROS
hive.metastore.service.principal=hive/_HOST@RONG360.COM
hive.metastore.client.principal=presto/admin@RONG360.COM
hive.metastore.client.keytab=/root/presto.keytab
#配置Presto访问HDFS的Kerberos信息，改段配置可以只存在Presto的Worker节点
hive.hdfs.authentication.type=KERBEROS
hive.hdfs.impersonation.enabled=true
hive.hdfs.presto.principal=presto/admin@RONG360.COM
hive.hdfs.presto.keytab=/root/presto.keytab
# hadoop集群的配置文件目录
hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml
在hive.properties配置文件中增加访问HiveMetastore和HDFS的Kerberos认证信息，将如上配置同步至Presto集群所有节点的${PRESTO_HOME}/etc/catalog/hive.properties文件中。
注意：在配置hive.metastore.url时，需要使用HiveMetastore服务的HOSTNAME，否则在使用Kerberos访问HiveMetastore时会报找不到Kerberos账号的错误。
2. 修改config.properties
-server
-Xmx500M
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-Djava.security.krb5.conf=/etc/krb5.conf
注意：最后一行
3. 配置HDFS
修改core-site.xml
<property>
<name>hadoop.proxyuser.presto.hosts</name>
<value>*</value>
</property>
<property><name>hadoop.proxyuser.presto.groups</name>
<value>*</value>
</property>
4. 重启HDFS 和 presto
./bin/launcher restart
测试
presto --server http://dx-dev-test1028:8080 --catalog hive --schema default
测试命令1：
show schemas;
内容如下：
Schema
--------------------
default
information_schema
test
(3 rows)
测试命令2:
select * from mysql.test.student_mysql a left join hive.test.student_txt b on a.name=b.name;
结果如下：
id | name | name | age
----+--------+--------+-----
1 | lisi | lisi | 15
(1 row)
测试成功！
标签：presto,--,kerberos,rong,hive,server,etc 来源： https://www.cnblogs.com/erlou96/p/14592749.html