首页 > TAG信息列表 > hadoop103

Flink 消费 Kafka 数据后在写回 Kafka 示例

今天介绍一下 Flink从kafka 读取数据后,再将数据写回 kafka 的一个案例 示例代码 /** * 从一个 topic 读取数据,在写回另一个 topic */ public class SinkToKafka0824 { public static void main(String[] args) throws Exception { //1、获取执行环境 Str

Hadoop 十二

配置workers 进入hadoop/etc/hadoop    编辑workers文件    然后分发给另外两个服务器           准备启动集群 第一次需要初始化.    初始化完成后增加了data文件 ,     进入上面那个路径,就能看到当前服务器的版本号     启动HDFS     启动完毕 102    

大数据之Hadoop集群中Yarn常用命令

Yarn状态的查询,除了可以在hadoop103:8088页面查看以外,还可以通过命令操作。常见的命令操作如下所示。 需求:执行WordCount案例,并通过Yarn命令查看任务运行情况。 # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh start # 运行wordcount案例 [hadoop@hadoop102 hadoop-3.1.3]$ hado

Spark 运行模式(Standalone 模式)

1、Driver & Executor Driver & Executor 是Spark 集群中两个非常重要的角色; 2、Standalone 模式 Standalone模式是Spark自带的资源调动引擎,构建一个由Master + Slave构成的Spark集群,Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来

Hadoop HA 高可用

第一章 HA 概述 (1)所谓 HA(High Availablity),即高可用(7*24 小时不中断服务)。 (2)实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制:HDFS 的 HA 和 YARN 的 HA。 (3)NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外,如宕机,集群将无法使用,

Hadoop HDFS-HA

目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作

【大数据基础】三、hadoop核心配置文件

一、vim core-site.xml <!-- core指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:8020</value> </property> <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.t

2021SC@SDUSC HBase项目分析:安装、配置与分工

2021SC@SDUSC 目录 HBase概述 HBase集群安装 Hadoop安装与配置 ZooKeeper安装与配置 Hbase安装与配置  Hbase源码下载 组内分工 2021SC@SDUSC HBase概述 HBase 是一种分布式、高可靠性、高性能、面向列、可伸缩的 NoSQL 数据库。Hadoop HDFS为HBase提供了高可靠性的底层存储支

第五章 Centos下完全分布式部署Hadoop-3.3.1

一、Hadoop环境准备 1.集群规划 主机名 IP HDFS YARN hadoop102 10.0.0.102 NameNode、DataNode NodeManager hadoop103 10.0.0.103 DataNode、SecondaryNameNode NodeManager、ResourceManager hadoop104 10.0.0.104 DataNode NodeManager #1.注意事项: ps: 1)NameNod

Hadoop7.08

昨日内容概要 Hadoop环境准备 1.解压hadoop压缩包(2.X版本) 2.配置环境变量并重新加载 3.检测是否正常启动 Hadoop目录结构 bin 程序文件 etc 配置文件 share 说明文档 sbin 操作命令 readme 产品说明 Hadoop官网案例 1.grep过滤案例 hadoop jar share/.... grep

集群时间同步

集群同步的方式 找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔一分钟,同步一次时间。 步骤 1.时间服务器配置(必须为root用户,使用 su root 修改为root用户) (1)检查ntp是否安装 [root@hadoop102 ~]# rpm -qa|grep ntp 截图 (2)修改ntp配置文件 [root@h

搭建学习大数据,需要的虚拟机Linux集群环境

网页右边,向下滑有目录索引,可以根据标题跳转到你想看的内容如果右边没有就找找左边 本文是我学习尚硅谷Hadoop3.1.x的学习笔记视频资源地址:https://www.bilibili.com/video/BV1Qp4y1n7EN?p=34&spm_id_from=pageDriver 一、搞3台做实验的虚拟机 1、 搭建Linux虚拟机环境 由于篇

Hadoop 群起集群并进行基本测试

文章目录 一、群起集群1、配置workers2、启动集群1)初始化2)启动HDFS3)启动YARN4)在web端查看HDFS的NameNode http://hadoop102:98705)在web端查看YARN的ResourceManagerhttp://hadoop103:8088 二、基本测试1、上传文件到集群2、文件的存储位置3、下载4、执行wordcount程序

CentOS7使用集群同步脚本对文件同步分发

1.介绍 使用集群同步脚本对文件同步分发 2.操作 1)安装rsync [root@hadoop101 ~]$ yum install rsync 2)在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下: [root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync 在该文件

hadoop集群搭建

一、集群目录文件分发 1. scp(secure copy)安全拷贝 1)scp定义: scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2) (2)基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝的文件路径/名称 目