首页 > TAG信息列表 > cdh5.7

python 使用 SPARK Hadoop

下载相应包。然后放到linux 相关目录，然后配置环境变量，配置文件如下 vim ~/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/.local/

HBase单机模式简单安装操作说明

HBase单机模式简单安装操作说明 1）双击桌面“Oracle VM Virtual Box”图标，启动Virtual Box虚拟机软件 2）展开Virtual Box左边的HBase1.2.0，鼠标右键点击【启动】，菜单中选【启动】-》【分离式启动】，会弹出一个虚拟机启动窗口，耐心等待虚拟机启动过程完成 3）双击桌面“XshellPortable”

配置hiveserver2

需要准备 hadoop-2.6.0-cdh5.7.0 、jdk1.8.0_161 、zookeeper-3.4.5-cdh5.7.0、 hive-1.1.0-cdh5.7.0 1.在hadoop 的etc/hadoop/目录中的文件  core-site.xml  添加下面代码 ，其中颜色标记部分为你的主机名 <property> 　　<name>hadoop.proxyuser.root.hosts</name>

如何启动hbase

第一步 先启动hadoop cd hadoop-2.6.0-cdh5.7.0/sbin ./start-all.sh 第二步 启动zookeeper  cd zookeeper-3.4.5-cdh5.7.0/sbin ./zkServer.sh start 第三步启动hbase cd hbase-1.2.0-cdh5.7.0/bin ./start-hbase.sh hbase shell list显示列表  

Linux下配置Hadoop的伪分布环境的搭建

查看jps [root@master ~]# jps 7445 Jps 如果出现这个则可以继续下一步 如果没有请参考jdk环境搭建 导入Hadoop包，并放到/opt目录下 查看Hadoop包是否导入 [root@master ~]# cd /opt [root@master opt]# ll total 485452 -rw-r--r--. 1 root root 311585484 Jul 31 09

Redis安装,配置,启动,客户端连接，基本测试

一、redis安装 1.Linux平台下安装C语言编辑环境 sudo yum install gcc-c++ 2.上传解压 上传： rz redis-3.2.5.tar.gz 解压： tar -zxvf redis-3.2.5.tar.gz -C /opt/cdh5.7.6/ 3.编译安装 编译要进入：cd redis-3.2.5目录下 指定路径：make PREFIX=/opt/cdh5.7.6/redis-3.2.5-bi

Hadoop Pseudo-Distributed Mode Deployment

Pre-condition and software Hadoop version: hadoop-2.6.0-cdh5.7.0 JDK version：jdk-8u45-linux-x64 Linux install ssh service 1.Create user and upload hadoop installation package wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz rz (up

hive之编译源码支持UDF函数

文章目录1.下载源码2.编译支持UDF2.1 上传解压2.2 添加UDF函数类2.3注册函数2.4编译hive3.部署安装4.测试UDF 友情提示： 若想减少服务器上maven编译出错的概率，可以选择将源码放在本地使用idea打开，修改源码并编译（最终失败，可能idea问题），但是这样确保我们修改的代码一定是正确的，以

HDFS副本放置策略

副本放置策略机架知识生产上 尽量将读写的动作 选取DN节点机架，一台机架放5台服务器，本来按位置来说可以放10个但是我们只放5个，原因是一台机架的电量是多大，一个机柜的电流的安培是有标准的（10A，20A，40A，还可以改造）所以每台机架放置服务台数的标准就是用机柜电流量的大小除以每台服务器所

自定义函数hello，并注册到hive源码中并重新编译

1 编写自己的udf方法hello package cn.zhangjin.hive.udf; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; /** * @author zj * @create 2019-02-22 17:51 * 一个UDF: hello */ @D

hdfs部署环境准备&hdfs伪劣分布式部署

Hadoop:广义: 以apache hadoop软件为主的生态圈(hive zookeeper spark hbase)狭义: apache hadoop软件 hadoop.apache.orghive.apache.orgspark.apache.org hadoop软件:1.x 企业不用2.x 主流 3.x 没有企业敢用 a.采坑 b.很多公司都是CDH5.x部署大数据环境 (www.cloudera.com)2.6.