其他分享
首页 > 其他分享> > 大数据生态--knox配置代理大数据组件(一)

大数据生态--knox配置代理大数据组件(一)

作者:互联网

1. ambari中knox代理配置

Knox->Configs->Advanced topology

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=2. 代理yarn UI界面

代理前用户需访问http://xx.xx.103.56:8088/cluster进入ResourceManager界面

在knox中配置代理:

<service>
       <role>YARNUI</role>
       <url>http://xx.xx.103.56:8088</url>  //注:xx.xx是为了隐藏我的IP地址,大家配置的时候需写完整的IP或者主机名
</service>

在ambari中重启knox服务

访问https://knoxip:8443/gateway/default/yarn 输入用户名密码即可跳到yarn UI界面,输入用户名密码

a62b316977ff49d2b3f48e2ce973dce5.png

3. 代理HDFSUI界面

代理前用户需访问http://xx.xx.103.54:50070进入HDFS界面

在knox中配置代理:

<service>
       <role>HDFSUI</role>
       <url>http://xx.xx.103.54:50070</url>  //注:xx.xx是为了隐藏我的IP地址,大家配置的时候需写完整的IP或者主机名
</service>

在ambari中重启knox服务

访问https://knoxip:8443/gateway/default/hdfs 输入用户名密码即可跳到hdfs UI界面,输入用户名密码(已经输入过用户名密码后再次访问不再需要输入)

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

4. 代理SPARKHISTORYUI界面

代理前用户需访问http://xx.xx.103.54:18080进入SPARKHISTORY界面

在knox中配置代理:

<service>
       <role>SPARKHISTORYUI</role>
       <url>http://xx.xx.103.54:18080/master-status</url>  //注:xx.xx是为了隐藏我的IP地址,大家配置的时候需写完整的IP或者主机名
</service>

在ambari中重启knox服务

访问https://knoxip:8443/gateway/default/sparkhistory 输入用户名密码即可跳到sparkhistroy UI界面,输入用户名密码(已经输入过用户名密码后再次访问不再需要输入)

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

5. 代理HBASEUI界面

代理前用户需访问http://xx.xx.103.54:16010进入HBASEUI界面

在knox中配置代理:

<service>
       <role>HBASEUI</role>
       <url>http://xx.xx.103.54:16010</url>  //注:xx.xx是为了隐藏我的IP地址,大家配置的时候需写完整的IP或者主机名
</service>

在ambari中重启knox服务

访问https://knoxip:8443/gateway/default/hbase/webui 输入用户名密码即可跳到HBASE UI界面,输入用户名密码(已经输入过用户名密码后再次访问不再需要输入)

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

6. 通过Knox对hdfs文件系统进行操作

在knox中配置代理:

<service>
       <role>WEBHDFS</role>
       <url>http://xx.xx.103.50070/webhdfs</url>  //注:xx.xx是为了隐藏我的IP地址,大家配置的时候需写完整的IP或者主机名
</service>

在ambari中重启knox服务

6.1 获取hdfs的根目录列表(等同于在服务器执行hdfs dfs ls /)

curl -i -k -u admin:admin-password -X GET 'https://node54:8443/gateway/default/webhdfs/v1/?op=LISTSTATUS'

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

6.2 上传文件到hdfs

curl -i -k -u admin:admin-password -X PUT 'https://node54:8443/gateway/default/webhdfs/v1/tmp/knox-test.log?op=CREATE' 
执行后会返回的信息中的Location有一个链接

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

用上图红框中的链接上传数据

curl -i -k -u admin:admin-password -X PUT 'https://node54:8443/gateway/default/webhdfs/data/v1/webhdfs/v1/tmp/knox-test.log?_=AAAACAAAABAAAACQe_NvcTGs64l7_flvm_ZYP0RUusMAuOzoMLQtBismBz0zHy8AMV8XjMQtPEybx2G6eNitaSzbJYIAoJHr1EKpNbsRErq3t17WNxlEgzegzW9WsUH4Q3skRVfb8-w1Pa82LgEOc_LZugEo_X9INK-tpv1G289ww1pl9tqkBTZqGgFY_VcyA3yXR5k8VU0aMvFaDdRVZ0E4tcM4Yy48NI3H0WFW-DzQE70E' -T 'test.log'

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

执行完成后会将test.log文件上传到hdfs文件系统的/tmp下,并将文件命名为knox-test.log

6.3 读取hdfs文件系统的文件内容

curl -i -k -u admin:admin-password -X GET 'https://node54:8443/gateway/default/webhdfs/v1/tmp/knox-test.log?op=OPEN'
执行后会返回的信息中的Location有一个链接

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

用上图红框中的链接读取数据

curl -i -k -u admin:admin-password -X GET 'https://node54:8443/gateway/default/webhdfs/data/v1/webhdfs/v1/tmp/knox-test.log?_=AAAACAAAABAAAABwe_NvcTGs64l7_flvm_ZYP0RUusMAuOzoMLQtBismBz0zHy8AMV8XjMQtPEybx2G6eNitaSzbJYJ095F1WxTU7XLP82cbpd3BmempTdezXX9EMFNrBieytW5JZezvb0654T6DUhC4IJLK_KTg9EONKSjQhtxHsBMyFi0KsmmKNgOBMGZ60ewYzg'

watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=

标签:用户名,--,代理,admin,xx,8443,knox,数据
来源: https://blog.51cto.com/yjy724/2952028