首页 > TAG信息列表 > hadoop001

Flink Standalone 集群部署

Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其Standalone Cluster 模式的部署。     Standalone Cluster 模式是 Flink 自带的一种集

Hadoop集群部署实战

模块 以三台机器为例，分别为 hadoop000 ，hadoop001，hadoop002 。在这些机器上我需要部署哪些模块呢？ HDFS: NameNode，DataNode YARN: ResourceManager，NodeManager 如下图所示： 修改 hostname 与 hosts 以机器1为例，其它机器类似。 修改hostname vim /etc/hostname hadoop000 修改ip映

2、Hadoop 单机版环境搭建

一、前置条件 Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见： 1、下载并解压 在官网 下载所需版本的 JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压： [root@ java]# tar -zxvf jdk-8u201-linux-x64.tar.gz 2. 设置环境变量 [root@ java]# vi /etc/profile 添加如下配置： export

CDH中kafka配置

文章目录 导入离线包 开始安装 flume消费kafka数据到hdfs上 导入离线包 主节点创建/opt/cloudera/csd目录 mkdir -p /opt/cloudera/csd 上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录，并修改所有者和所有者的组 [root@hadoop001 csd]# chown cloudera-scm:cloudera-scm /opt

02.Kafka快读入门

安装部署 先下载zookeeper、kafka zookeeper下载地址：Download kafka下载地址：Download 集群规划 hadoop001 hadoop002 zk zk kafka kafka 集群部署 1) 解压安装包 [root@hadoop001 software]# pwd /root/software [root@hadoop001 software]# tar -xvf kafka_2.12-2.5.

Spark 分布式环境搭建

Spark 分布式环境搭建 1. scala环境搭建 1）下载scala安装包scala2.12.10.tgz安装到 /usr/scala [root@hadoop001 scala]# tar -zxvf scala-2.12.10.tgz [root@hadoop001 scala]# ln -s scala-2.12.10.tgz scala 2）添加Scala环境变量，在/etc/profile中添加： export SCALA_HOME=/u

剑指数据仓库-Shell命令三

一、上次课程回顾 二、Linux基础命令三 2.1、用户和用户组 2.2、个人环境变量（.bashrc和.bash_profile的选择）和全局环境变量（/etc/profile）和别名的使用 2.3、su和su -的区别 2.4、/etc/passwd文件的重点剖析 2.5、权限（chmod、chown）&& 案例演示 2.6、文件、文件夹查看大小 2.7

Spark学习之高可用集群搭建

1. 集群规划     这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，

Hadoop集群部署

集群规划 HDFS需要部署NameNode和DataNode YARN需要部署ResourceManager和NodeManager 假设现在有三台服务器，规划方式如下： hadoop000 192.168.199.234 NameNode DataNode ResourceManager NodeManager hadoop001 192.168.199.235 NameNode DataNode hadoop002 192.168.1

Hadoop的伪分布式模式

1 启动HDFS并运行MapReduce程序 a）配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [root@hadoop001 hadoop-2.7.2]# echo $JAVA_HOME /opt/module/jdk1.8.0_144 [root@hadoop001 hadoop]# vim hadoop-env.sh 修改JAVA_HOME 路径： （b）配置：core-site.xml [root@hadoop001 hadoop]#

基于Spark的电影推荐系统（推荐系统~2）

第四部分-推荐系统-数据ETL 本模块完成数据清洗，并将清洗后的数据load到Hive数据表里面去 前置准备： spark +hive vim $SPARK_HOME/conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <conf

使用阿里云服务器进行CDH部署学习

1.准备的工具: 软件安装包： ossutil64工具下载: 1 [root@hadoop001 ~]# wget http://gosspublic.alicdn.com/ossutil/1.6.3/ossutil64 2 --2019-06-29 09:48:21-- http://gosspublic.alicdn.com/ossutil/1.6.3/ossutil64 3 Resolving gosspublic.alicdn.com (gosspublic.alicdn.c

Azkaban3.57.0的编译安装以及简单使用

Azkaban 简介      azkaban是一个开源的任务调度系统，用于负责的调度运行（如数据仓库调度），用以替代Linux中的crontab。 Azkaban是一套简单的任务调度服务，整体包括三个部分webserver、dbserver、executorserver Azkaban是linux的开源项目，开发语言为Java。 Azkaban是由Linkedin开源

scala的安装与部署

【环境准备】 scala-2.11.8 下载地址 ：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz jdk1.8 【安装过程】 [root@hadoop001 opt]# pwd/opt[root@hadoop001 opt]# wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz[root@hadoop001 opt]# ll-

hive之编译源码支持UDF函数

文章目录1.下载源码2.编译支持UDF2.1 上传解压2.2 添加UDF函数类2.3注册函数2.4编译hive3.部署安装4.测试UDF 友情提示： 若想减少服务器上maven编译出错的概率，可以选择将源码放在本地使用idea打开，修改源码并编译（最终失败，可能idea问题），但是这样确保我们修改的代码一定是正确的，以

docker搭建cerebro（elasticsearch监控工具）

1. 拉取镜像 [root@hadoop001 conf]# docker pull lmenezes/cerebro Using default tag: latest latest: Pulling from lmenezes/cerebro Digest: sha256:f199d8fc0288e5ad96b321d7f7618b7ea486d29f801c2be9d638fc62e20f9b34 Status: Image is up to date for lmenezes/cereb

二十一：CDH5.14离线安装Apache Spark 2

一：当有需要CDH安装Apache Spark 2时： 老规矩，从官网开始： https://www.cloudera.com/documentation.html https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 注意几个重要的提示： 二：按步骤进行安装： 2.1:查看自己需要安装的版本： a:To download

hadoop部署

[root@xiong ~]# hostnamectl set-hostname hadoop001 [root@xiong ~]# vim /etc/hostnamehadoop001 vim /etc/sysconfig/network# Created by anacondaNETWORKING_IPV6=noPEERNTP=noHOSTNAME=hadoop001 [root@xiong ~]# reboot [root@hadoop001 ~]# useradd hadoop [root@had

Hadoop-2.6.0 HA(高可用架构)部署(超详细)

目录 集群规划 Hadoop HA部署： 1）软件环境 2）系统环境准备 3）配置SSH通信 4）配置环境变量 5）配置zookeeper 6）配置Hadoop 7）启动集群 8）启动关闭顺序 9）Hadoop HA部署避坑指南 集群规划 主机 安装软件 进程 hadoop001 Hadoop、Zookeeper NameNode DFSZKFailoverController Journ

RPM部署MYSQL

RPM部署MYSQL在生产上基本上用tar包安装装，原因如下1.MYSQLRPM安装：一般是个人学习 测试 快速部署使用RPM包安装完是在四目录下的，万一这个目录空间不够了，问题严重，所以需要蒋这个目录挂载到空间大的盘下tar安装：是定制化  企业级 （公司生产安装基本上用这种） MYSQL部署步骤网址https://g