首页 > TAG信息列表 > hadoop102

大数据常见组件zookeeper Kafka flume组件的常用操作命令

本文主要汇总了大数据常用组件zookeeper、kafka、flume的常用命令行操作 Zookeeper常用命令操作 命令行语法 1）启动客户端 [atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop102:2181 2）显示所有操作命令 [zk: hadoop102:2181(CONNECTED) 1] help 查看节点信

HA配置之mapred-site.xml

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in complianc

大数据技术之Hive 第2章 Hive安装 以及基本操作

2.2 MySql安装 0）为什么需要Mysql 原因在于Hive默认使用的元数据库为derby，开启Hive之后就会占用元数据库，且不与其他客户端共享数据，如果想多窗口操作就会报错，操作比较局限。以我们需要将Hive的元数据地址改为MySQL，可支持多窗口操作。 1）检查当前系统是否安装过Mysql [wolffy@hadoop10

大数据技术之Kafka 第2章 Kafka快速入门

第2章 Kafka快速入门 2.1 安装部署 2.1.1 集群规划 hadoop102 Hadoop103 Hadoop104 zk zk zk kafka kafka kafka 2.1.2 下载 官网：http://kafka.apache.org/downloads.html 2.1.3 集群部署 1）解压安装包 [wolffy@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -

第3章 Zookeeper集群操作 之 集群安装部署

第3章 Zookeeper集群操作 3.1 集群操作 3.1.1 集群安装 1）集群规划 在hadoop102、hadoop103和hadoop104三个节点上都部署Zookeeper。 思考：如果是10台服务器，需要部署多少台Zookeeper？ 2）解压安装 （1）在hadoop102解压Zookeeper安装包到/opt/module/目录下 [wolffy@hadoop102 software]$ t

Hive安装部署

1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下 2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面 [atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ 3）修改apache-hive-3.1.2-bin.tar.gz的名称

Flume内存优化

1）问题描述：如果启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2）解决方案步骤： （1）在hadoop102服务器的/opt/module/flume/conf/flume-env.sh文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m

Phoenix

 Phoenix安装部署 2.1.1官方网址： http://phoenix.apache.org/index.html 2.1.2 上传jar包到/opt/software/ 解压到/opt/module 改名为phoenix [yulong@hadoop102 module]$ tar -zxvf /opt/software/apache-phoenix-4.14.1-HBase-1.3-bin.tar.gz -C /opt/module   [yulong@ha

4.9

解压在hadoop102节点服务器上创建安装目录/opt/module，将flink执行解压命令，解压至当前目录。§tar-zxvf flink-1.13.0-bin-scala _2.12. tgz-C/opt/module/flink-1.13.0/flink-1.13.0γ1og/flink-1.13.0/LICENSEflink-1.13.0/lib/3.启动进入解压后的目录，执行启动命令，并查看进程。$c

CentOS7安装HBase集群

写在前面 安装HBase必须先安装 Zookeeper，安装教程见《CentOS7安装Zookeeper集群》 Hadoop，安装教程见《CentOS7安装Hadoop集群》 软件下载 自行下载所需版本，提供hbase-2.0.5-bin.tar.gz百度云下载地址 解压缩 tar xzvf hbase-2.0.5-bin.tar.gz -C /opt/module/ 解压路径看个人

Linux系统时间修改

1，查看 [hzjin@hadoop102 ~]$ date 2022年 03月 10日 星期四 15:16:11 CST 2，修改 [hzjin@hadoop102 ~]$ date -s 03/11/22 2022年 03月 11日 星期五 00:00:00 CST 3，同步Internet时间 3.1安装ntp yum install -y ntpdate 3.2同步时间 ntpdate pool.ntp.org 3.3系统时间写入到硬件当

数仓项目常用脚本

常用脚本 1.集群分发脚本xsync （1）需求：循环复制文件到所有节点的相同目录下 （2）需求分析 ①rsync命令原始拷贝： rsync -av /opt/module root@hadoop103:/opt/ ②期望脚本： xsync 要同步的文件名称 ③说明：在/home/用户名/bin这个目录下存放的脚本，用户可以在系统任何地方直接执行。 （3

Hadoop常见错误及解决方案

1）防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2）主机名称配置错误 3）IP地址配置错误 4）ssh没有配置好 5）root用户和atguigu两个用户启动集群不统一 6）配置文件修改不细心 7）未编译源码 Unable to load nativ

数仓 元数据管理 Atlas 的使用

文章目录 Atlas的简介Solr的安装Atlas的安装和配置Kerberos相关配置 Atlas的登录和启动Atlas 的使用（案例）Atlas的项目实战Hive元数据增量同步全流程调度查看血缘依赖 扩展内容 Atlas的简介 简介 Solr的安装 Solr的安装 Atlas的安装和配置 Atlas的安装和配置 Kerberos相关

数仓 用户认证 Kerberos 安全集群使用说明

文章目录 用户要求访问HDFS集群文件Shell命令web页面 提交MapReduce任务 用户要求 1，具体要求 以下使用说明均基于普通用户，安全集群对用户有以下要求： 1）集群中的每个节点都需要创建该用户 2）该用户需要属于hadoop用户组 3）需要创建该用户对应的Kerberos主体 2，实操 此处以 lua

大数据常用框架中的基本命令

Kafka命令行常用命令 1.查看topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2.创建topic(–replication-factor : 副本数, --partitions: 分区数) bin/kafka-topics.sh --zokeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic t

数仓 Hadoop Kerberos配置

文章目录 创建Hadoop系统用户Hadoop Kerberos配置为Hadoop各服务创建Kerberos主体（Principal）修改Hadoop配置文件配置HDFS使用HTTPS安全传输协议配置Yarn使用LinuxContainerExecutor 创建Hadoop系统用户 为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使

数仓 Kerberos 的部署

文章目录 Kerberos概述什么是KerberosKerberos术语Kerberos认证原理 Kerberos安装安装Kerberos相关服务初始化KDC数据库修改管理员权限配置文件启动Kerberos相关服务创建Kerberos管理员用户 Kerberos使用概述Kerberos数据库操作Kerberos认证操作 Kerberos概述 什么是Ker

Zookeeper集群启动停止脚本

目录 1）在hadoop102的/home/atguigu/bin目录下创建脚本 2）增加脚本执行权限 3）Zookeeper集群启动 4）Zookeeper集群停止 5）Zookeeper集群查看状态 1）在hadoop102的/home/atguigu/bin目录下创建脚本 [atguigu@hadoop102 bin]$ vim zk.sh #!/bin/bash case $1 in "start"){ for i in

数仓 Zabbix 集成 Grafana

文章目录 集成Grafana部署Grafana快速入门 集成Zabbix配置数据源集成案例 集成Grafana 部署Grafana 1.下载Grafana安装包 官方仓库：https://dl.grafana.com/oss/release/grafana-7.4.3-1.x86_64.rpm 国内镜像：https://repo.huaweicloud.com/grafana/7.4.3/grafana-7.4.3-1

Zabbix的简介和安装

文章目录 Zabbix概述Zabbix 基础架构Zabbix部署集群规划准备工作关闭集群关闭防火墙（3台节点，已关闭）关闭SELinux（hadoop102） 安装yum仓库修改zabbix仓库配置文件 安装Zabbix配置Zabbix创建zabbix数据库导入Zabbix建表语句配置Zabbix_Server（hadoop102）配置Zabbix_Agent（三台节点）配

HBase详解(02) - HBase-2.0.5安装

HBase详解(02) - HBase-2.0.5安装 HBase安装环境准备 Zookeeper安装 Zookeeper安装参考《Zookeeper详解(02) - zookeeper安装部署-单机模式-集群模式》 启动Zookeeper集群 bin/zkServer.sh start Hadoop安装 Hadoop安装参考《Hadoop详解(02) - Hadoop3.1.3集群运行环境搭建》 启动

Hadoop HA 高可用

第一章 HA 概述 （1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。 （2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。 （3）NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，

Azkaban

第一章、Azkaban 概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执

Hadoop HDFS-HA

目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作