首页 > TAG信息列表 > hadoop02

普通的搭建kafka-2_12-2.4.1

搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的(partition)、多副本的 (replica),基于 zookeeper 协调的分布式消息系统,它最大的特性就是可以实时处理大量数据以满足各类需求场景: 日志收集:使用 Kafka 收集各种服务的日志,并通过 kafka 以统一接口服务的方式开放给各种 cons

|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|---------------------------------|Kylin.

[BigDataHadoop:Hadoop&OLAP数据库管理系统.V16]                           [Deployment.OLAP数据库管理系统][|Kylin:sparkcore高可用配置|]一、高可用配置:spark standalone集群配置### --- 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SP

|NO.Z.00019|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v19|---------------------------------|Kylin.

[BigDataHadoop:Hadoop&OLAP数据库管理系统.V19]                           [Deployment.OLAP数据库管理系统][|Kylin:Kylin构建Cube&实时OLAP.V2|]一、OLAP环境准备### --- OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/server

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|---------------------------------------|实时数仓.v02

[BigDataHadoop:Hadoop&实时数仓.V02]                                        [BigDataHadoop.电商行业实时数仓项目][|章节四|Hadoop|实时数仓|实时数仓:实时数仓$在Hadoop集群环境运行实时数仓程序.V2|]一、启动集群环境相关服务### --- 启动zooke

|NO.Z.00006|——————————|^^ 配置 ^^|——|Hadoop&Spark.V06|------------------------------------------|Spar

[BigDataHadoop:Hadoop&Spark.V06]                                        [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore:Spark-Standalone集群模式&standalone配置&core&mamory|]一、集群模式--Standalone模式### --- 集群模式-

|NO.Z.00068|——————————|^^ 部署 ^^|——|Hadoop&PB级数仓.V02|---------------------------------------|PB数仓.v0

[BigDataHadoop:Hadoop&PB级数仓.V02]                                      [BigDataHadoop.PB级企业电商离线数仓][|章节三|Hadoop|元数据管理工具Atlas:Atlas安装配置&账户密码|]一、安装环境准备### --- 安装概述说明 ~~~ 重点讲解Atlas,不对Atlas的依

Hadoop02【架构分析】,学习用linux系统

Hadoop1.0即第一代Hadoop,指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中MapReduce是一个离线处理框架,由编程模型(新旧API)、运行时环境(JobTracker和TaskTracker)和数据处理引擎(MapTask和ReduceTask)三部分组成。 hadoop2

Linux----->免密登录认证

免密登录认证 准备工作 首先克隆出hadoop02 步骤1)先克隆机器 关掉要克隆的机器--->右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成 步骤2)修改IP和主机名以及映射文件,然后重启 [root@hadoop01 ~]# hostnamectl set-hostname hadoop0

9、安装HBase

安装HBase 分布式数据库 版本选择:HBase2.4.0 start-all.sh启动Hadoop,zkServer.sh start启动各节点的 zkServer 服务 cd /usr/local wget https://archive.apache.org/dist/hbase/2.4.0/hbase-2.4.0-bin.tar.gz tar -zxvf hbase-2.4.0-bin.tar.gz mv hbase-2.4.0 hbase 配置HB

在xshell上对多台虚拟机(或者窗口)群发命令

目前掌握的方法: 1、首先在Xshell上连接多台虚拟机 如下图所示:我已经连接了三台虚拟机,分别是hadoop01、hadoop02、hadoop03 2、点击上栏框中的 : 查看——撰写栏 点击完成后出现下面的样子: 这里要注意的是,如果会话框中的默认文本为:“仅将文本发送到当前选项卡”,则需要将选项

在linux中安装hadoop(详细)

安装包可在官网找,如 http://archive.apache.org 一、 虚拟机安装 前置:安装vmware(可在百度中找得) 1.1安装虚拟机-Linux  1. 点击新建虚拟机,选择自定义  2. 虚拟机兼容性默认即可 3. 客户机操作系统选择稍后安装操作系统 4. 选择客户机操作系统选择Linux,版本我选择了Red Hat

hadoop02-HDFS常用命令

HDFS常用命令 一、 HDFS的源码查看 1.1 HDFS的shell命令 #查看hadoop 命令的脚本 #which查看可执行文件的位置 which hadoop 二、HDFS的常用操作 hadoop fs 与 hdfs dfs 都调的FsShell 类 下面都用hadoop fs 命令来演示 2.1 列出文件列表 ls 2.2 上传文件/目录 put, copyFromLoca

2.1.8 hadoop体系之离线计算-hdfs分布式文件系统-HA(高可用)-Hadoop集群环境搭建

目录 1.准备工作 2.安装工作 2.1、集群规划 2.2、集群配置 1. hadoop-env.sh 2. core-site.xml 3. hdfs-site.xml 4. mapred-site.xml 5. yarn-site.xml 6. slaves 2.3、启动集群(初始化工作) 1. 启动3个Zookeeper 2. 启动3个JournalNode 3. 格式化NameNode 4. 复制hadoop01上的Na

hdfs读写流程

1.hdfs读流程 客户端跟namenode通信查询元数据,namenode通过查询元数据,找到数据快所在的datanode服务器(hadoop01,hadoop02,hadoop03).namenode将datanode服务器信息返回给客户端.客户端就近随机挑选一台datanode服务器请求建立socket流.datanode开始发送数据,以packet为单

hadoop集群之HDFS和YARN启动和停止命令

假如我们只有3台linux虚拟机,主机名分别为hadoop01、hadoop02和hadoop03,在这3台机器上,hadoop集群的部署情况如下: hadoop01:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager,1个nodemanager; hadoop02:1个namenode,1个datanode,1个journalnode,1个zkfc,1个resourcemanager

azkaban-3.57.0编译安装安装

一、大致步骤: 1.安装git。 2.下载grandle4.6 。因编译下载较慢,编译第一步要下载grandle,最好提前下载grandle,省去编译阶段下载。 3.生成数据库。编译完成后,找出其内的sql语句生成azkaban数据库,不使用自带的内置数据库,使用mysql数据库存放azkaban数据。 4.生成密钥库keystore

学习hadoop02——Ubuntu虚拟机的安装,hadoop:未找到命令问题解决

  虽然安装上了linux双系统,但是双系统的启动关机问题一直没有解决,我想可能是由于电脑配置不够的问题,所以我放弃了linux双系统,选择了使用Ubuntu虚拟机,发现还是虚拟机使用起来更加方便,   首先就是安装Ubuntu的linux虚拟机,然后就是各种配置,根据教程一步步来就好。   其中,如果你

Flume实现扇出流动

flume扇出流动的过程     实现过程 首先准备三台机器:hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts)       然后每台机器上配置Agent 配置hadoop01       配置hadoop02和hadoop03一样       配置完了后,首先启动hadoop02和hadoop03上的Agent flume-ng a