hadoop01

首页 > TAG信息列表 > hadoop01

普通的搭建kafka-2_12-2.4.1

搭建kafka 一. 概述 1. 介绍 Kafka 是个分布式的、持分区的（partition）、多副本的（replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景：日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 cons

|NO.Z.00017|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v17|---------------------------------|Kylin.

[BigDataHadoop：Hadoop&OLAP数据库管理系统.V17] [Deployment.OLAP数据库管理系统][|Kylin：Kylin安装配置|]一、Kylin安装环境准备：依赖环境软件版本Hive2.3.7Hadoop2.9.2HBase1.3.1Zookeeper3.4.14Kafka1.0.2Spark2.4.5二、集群规划se

|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|---------------------------------|Kylin.

[BigDataHadoop：Hadoop&OLAP数据库管理系统.V16] [Deployment.OLAP数据库管理系统][|Kylin：sparkcore高可用配置|]一、高可用配置：spark standalone集群配置### --- 修改 spark-env.sh 文件，并分发到集群中 [root@hadoop01 ~]# vim $SP

|NO.Z.00007|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v07|---------------------------------|ClickH

[BigDataHadoop：Hadoop&OLAP数据库管理系统.V07] [Deployment.OLAP数据库管理系统][|ClickHouse：ClickHouse链接kafka|]一、ClickHouse链接Kafka### --- ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性：

|NO.Z.00005|——————————|^^ 配置 ^^|——|Hadoop&Spark.V05|------------------------------------------|Spar

Hadoop Kerberos 集成

大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 106篇原创内容公众号官网参考：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SecureMode.html 2、创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同

Linux-----＞免密登录认证

免密登录认证准备工作首先克隆出hadoop02 步骤1）先克隆机器关掉要克隆的机器--->右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成步骤2）修改IP和主机名以及映射文件，然后重启 [root@hadoop01 ~]# hostnamectl set-hostname hadoop0

Hadoop01【介绍】

shell获取函数返回值

#!/bin/bash function check(){ echo "$1" return 100 } r=$(check $1) echo "$r" d=$(check) echo "$?" 主要有两种办法接收返回值：return echo 这里要注意$?返回上一条语句执行的结果，正常的命令来说是 0 或者其他这里用$?就获得了上一条命令 return 返回值以上测

Hadoop Hdfs常用命令

常用命令： hdfs帮助：-help [cmd] 显示命令的帮助信息 [user@hadoop01 ~]$ hdfs dfs -help ls 　　 1. hadoop fs （hdfs dfs）文件操作 1）ls - 查看hdfs中的目录信息 [user@hadoop01 ~]$ hdfs dfs -ls -h /hdfs路径　显示目录下的所有文件可以加 -R 选项 [user@hadoop01 ~]$ hdf

shell之BASH_SOURCE

BASH_SOURCE表示的是用户所在的目录到脚本的路径。例如测试脚本如下： #!/bin/bash echo ${BASH_SOURCE} 1 2 3 执行脚本结果如下： [root@hadoop01 sbin]# ./test ./test [root@hadoop01 sbin]# cd .. [root@hadoop01 hadoop-2.7.7]# sbin/test sbin/test ——————————

01_hadoop集群启停脚本&批量检查集群服务

[root@hadoop01 software]# cat myhadoop.sh #!/bin/bash #检查脚本参数个数 if [ $# -lt 1 ] then echo "No Args Input... please input [start|stop]" fi case $1 in "start") echo " ============================= 启动 hadoop 集群 =======

jdbc连接hive后没法insert

在网上查了很多资料，每一个真正解决问题的，但多少算贴点边吧，也有可能不是每个人都像我一样粗心大意我们都知道hadoop需要配置代理用户，在配置文件core-site.xml里，这个文件配置完一定要分发到集群，不然就会出现root not allow to impersonate root 这种魔幻的错误一开始我还很蒙，ro

Hadoop安装部署&伪分布式搭建

目录 1.伪分布式模式介绍 2. 平台软件说明 3. 伪分布式搭建环境准备 3.1. 总纲 3.2. 防⽕墙关闭确认 3.3. 配置/etc/hosts⽂件 3.4. 确保ssh对localhost的免密登陆认证有效 3.5. 安装Jdk

Hadoop中的jobhistory配置与启动停止

jobhistory的配置 1、在yarn-site.xml中添加  <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.xml中添加

CDH搭建大数据集群（5.10.0）

目录一、CDH介绍二、为什么选择CDH？三、CDH的版本选择　　四、安装准备 1.节点准备 2.节点规划 3.下载parcels文件 4.tarball下载 5.准备以下内容：五、系统初始化 1.关闭防火墙（3个节点） 2.配置主机名（3个节点） 3.修改hosts文件（3个节点） 4.配置免密登录（3个节点） 5.安装JDK（3个节点） 6

0610 hadoop01

Hadoop第一天 1. 数据的分布式存储 2. 什么是HDFS? 海量数据是存储在集群上的(利用多台机器作为存储资源) 多台机器组成一个有组织的群体(主节点,从节点) 从节点启动后,向主节点汇报自已的资源主节点接收到从节点的注册后,维护集群(列表有几个节点,每个节点的存储容量信息)

在xshell上对多台虚拟机(或者窗口）群发命令

目前掌握的方法： 1、首先在Xshell上连接多台虚拟机如下图所示：我已经连接了三台虚拟机，分别是hadoop01、hadoop02、hadoop03 2、点击上栏框中的：查看——撰写栏点击完成后出现下面的样子：这里要注意的是，如果会话框中的默认文本为：“仅将文本发送到当前选项卡”，则需要将选项

Kafka集群部署

Kafka分布式集群部署 1．集群规划在hadoop01、hadoop02和hadoop03三个节点上部署Kafka。我安装的版本是kafka_2.11-2.1.0.tgz，下载地址：http://archive.apache.org/dist/kafka 2．解压安装（1）解压Kafka安装包到/opt/modules/目录下 # 解压 [jiang@hadoop01 software]$ tar -zxvf ka

Hive安装及配置Mysql元数据库

Hive安装及配置Mysql元数据库一、Hive安装配置 1、前置准备安装Hive前要先把Hadoop（伪分布式或集群模式）安装好，因为Hive是依赖于Hadoop运行的 2.安装Hive 下载所需版本的 Hive ，这里我下载版本为 apache-hive-2.3.0-bin.tar.gz。下载地址: http://archive.apache.org/dist/hi

HBase集群安装部署

1.1 准备安装包下载安装包并上传到hadoop01服务器安装包下载地址： https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz 将安装包上传到node01服务器/bigdata/softwares路径下，并进行解压 [hadoop@hadoop01 ~]$ cd /bigdata/soft/ [hadoop@hadoop0

wordcount案例

Hadoop与linux的交互 hadoop是安装在linux上的集群，所以二者之间需要交互。Linux命令是操作Linux的文件系统的，而hadoop有自己的文件系统hdfs，所以我们不能直接用Linux命令来操作Hadoop上的文件。此时就需要交互语言 hadoop上的命令基本同Linux，只是需要在前面加hadoop hadoop的

画图详解HDFS文件上传流程

HDFS文件上传流程客户端向NameNode发送数据上传请求，这个请求当中包含一个重要的信息就是文件的长度信息。假设该文件的大小为207M. hadoop fs -put /test.txt /data NameNode接收到客户端的请求之后会做一系列的检查文件是否存在，如果存在，报错上传文件的父目录是否存在，如

2.1.8 hadoop体系之离线计算-hdfs分布式文件系统-HA(高可用)-Hadoop集群环境搭建

目录 1.准备工作 2.安装工作 2.1、集群规划 2.2、集群配置 1. hadoop-env.sh 2. core-site.xml 3. hdfs-site.xml 4. mapred-site.xml 5. yarn-site.xml 6. slaves 2.3、启动集群（初始化工作） 1. 启动3个Zookeeper 2. 启动3个JournalNode 3. 格式化NameNode 4. 复制hadoop01上的Na

hdfs读写流程

1.hdfs读流程客户端跟namenode通信查询元数据,namenode通过查询元数据,找到数据快所在的datanode服务器(hadoop01,hadoop02,hadoop03).namenode将datanode服务器信息返回给客户端.客户端就近随机挑选一台datanode服务器请求建立socket流.datanode开始发送数据,以packet为单