HUE集成HDFS
作者：互联网
背景:因为每次使用hdfs和hive的时候都需要进入hdfs的页面和hive的客户端才能查看并进行操作很麻烦,所以采用hue来集成hdfs和hive,这里先接受hue与hdfs的集成,下次在写hue与hive的集成
HUE的下载地址: https://github.com/cloudera/hue/tree/master
可以根据你的需求进行下载选择适合你的版本.
1、下载好了hue的后需要下载安装的医疗包
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi gcc gcc-c++ kernel-devel openssl-devel gmp-devel openldap-devel
根据自己权限配置情况看是否需要添加 sudo
2、修改配置
cd /export/servers/hue/desktop/conf
vim hue.ini
#通用配置
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=hadoop02
is_hue_4=true
time_zone=Asia/Shanghai
#编辑user的用户
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=root
#配置使用mysql作为hue的存储数据库,大概在hue.ini的587行左右
[[database]]
#mysql的地址
engine=mysql
host=hadoop01
port=3306
user=root
password=123456
name=hue
3、创建mysql的数据库
create database hue default character set utf8 default collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by 'hue';
4、进行编译
cd /export/servers/hue
make apps
5、编译完成之后添加hue的用户
useradd hue
passwd hue
6、启动hue的进程
./build/env/bin/supervisor
7、启动成功后查看界面
8、此时hue已经安装成功，然后集成hdfs
8.1、修改core-site.xml的配置
hadoop：是用户根据自己的设置自行修改，我的是root用户所以我自己的配置都是root.hosts,root.groups
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
8.2、修改hdfs-site.xml的配置
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
8.3、将两个配置文件发送到其他机器上
scp -r /export/servers/hadoop/etc/hadoop/core-site.cml hadoop02:$PWD
scp -r /export/servers/hadoop/etc/hadoop/core-site.cml hadoop03:$PWD
scp -r /export/servers/hadoop/etc/hadoop/hdfs-site.cml hadoop02:$PWD
scp -r /export/servers/hadoop/etc/hadoop/hdfs-site.cml hadoop03:$PWD
8.4、配置hue.ini
我使用的是hadoop3.x，这里的端口都是hadoop3的端口，如果使用的是hadoop2.x需要修改端口为8020，和50070
cd /export/servers/hue/desktop/conf
vim hue.ini
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://hadoop01:9000
webhdfs_url=http://hadoop01:9870/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop
hadoop_bin=/export/servers/hadoop/bin
hadoop_conf_dir=/export/servers/hadoop/etc/hadoop
#配置我们的hue与yarn集成
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=hadoop01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://hadoop01:8088
history_server_api_url=http://hadoop01:19888
8.5、修改完成之后再重新启动hue
8.6、此时已经启动成功查看页面
标签：集成,HUE,HDFS,hue,hdfs,hadoop,devel,export,servers 来源： https://www.cnblogs.com/blogxiaochong/p/15061652.html