hadoop103

首页 > TAG信息列表 > hadoop103

Flink 消费 Kafka 数据后在写回 Kafka 示例

今天介绍一下 Flink从kafka 读取数据后，再将数据写回 kafka 的一个案例示例代码 /** * 从一个 topic 读取数据，在写回另一个 topic */ public class SinkToKafka0824 { public static void main(String[] args) throws Exception { //1、获取执行环境 Str

Hadoop 十二

配置workers 进入hadoop/etc/hadoop 编辑workers文件然后分发给另外两个服务器准备启动集群第一次需要初始化. 初始化完成后增加了data文件，进入上面那个路径，就能看到当前服务器的版本号启动HDFS 启动完毕 102

大数据之Hadoop集群中Yarn常用命令

Yarn状态的查询，除了可以在hadoop103:8088页面查看以外，还可以通过命令操作。常见的命令操作如下所示。需求：执行WordCount案例，并通过Yarn命令查看任务运行情况。 # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh start # 运行wordcount案例 [hadoop@hadoop102 hadoop-3.1.3]$ hado

Spark 运行模式（Standalone 模式）

1、Driver & Executor Driver & Executor 是Spark 集群中两个非常重要的角色； 2、Standalone 模式 Standalone模式是Spark自带的资源调动引擎，构建一个由Master + Slave构成的Spark集群，Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来

Hadoop HA 高可用

第一章 HA 概述（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意外，如宕机，集群将无法使用，

Hadoop HDFS-HA

目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作

【大数据基础】三、hadoop核心配置文件

一、vim core-site.xml  <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:8020</value> </property>  <property> <name>hadoop.t

2021SC@SDUSC HBase项目分析：安装、配置与分工

2021SC@SDUSC 目录 HBase概述 HBase集群安装 Hadoop安装与配置 ZooKeeper安装与配置 Hbase安装与配置 Hbase源码下载组内分工 2021SC@SDUSC HBase概述 HBase 是一种分布式、高可靠性、高性能、面向列、可伸缩的 NoSQL 数据库。Hadoop HDFS为HBase提供了高可靠性的底层存储支

第五章 Centos下完全分布式部署Hadoop-3.3.1

一、Hadoop环境准备 1.集群规划主机名 IP HDFS YARN hadoop102 10.0.0.102 NameNode、DataNode NodeManager hadoop103 10.0.0.103 DataNode、SecondaryNameNode NodeManager、ResourceManager hadoop104 10.0.0.104 DataNode NodeManager #1.注意事项： ps： 1）NameNod

Hadoop7.08

昨日内容概要 Hadoop环境准备 1.解压hadoop压缩包(2.X版本) 2.配置环境变量并重新加载 3.检测是否正常启动 Hadoop目录结构 bin 程序文件 etc 配置文件 share 说明文档 sbin 操作命令 readme 产品说明 Hadoop官网案例 1.grep过滤案例 hadoop jar share/.... grep

集群时间同步

集群同步的方式找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔一分钟，同步一次时间。步骤 1.时间服务器配置（必须为root用户，使用 su root 修改为root用户）（1）检查ntp是否安装 [root@hadoop102 ~]# rpm -qa|grep ntp 截图（2）修改ntp配置文件 [root@h

搭建学习大数据，需要的虚拟机Linux集群环境

网页右边，向下滑有目录索引，可以根据标题跳转到你想看的内容如果右边没有就找找左边本文是我学习尚硅谷Hadoop3.1.x的学习笔记视频资源地址：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=34&spm_id_from=pageDriver 一、搞3台做实验的虚拟机 1、搭建Linux虚拟机环境由于篇

Hadoop 群起集群并进行基本测试

文章目录一、群起集群1、配置workers2、启动集群1）初始化2）启动HDFS3）启动YARN4）在web端查看HDFS的NameNode http://hadoop102:98705）在web端查看YARN的ResourceManagerhttp://hadoop103:8088 二、基本测试1、上传文件到集群2、文件的存储位置3、下载4、执行wordcount程序

CentOS7使用集群同步脚本对文件同步分发

1.介绍使用集群同步脚本对文件同步分发 2.操作 1）安装rsync [root@hadoop101 ~]$ yum install rsync 2）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下： [root@hadoop101 ~]$ mkdir bin [root@hadoop101 ~]$ cd bin/ [root@hadoop101 bin]$ vi xsync 在该文件

hadoop集群搭建

一、集群目录文件分发 1. scp（secure copy）安全拷贝 1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）（2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令递归要拷贝的文件路径/名称目