首页 > TAG信息列表 > slave1
Ubuntu实现免密登录
@[TOCUbuntu实现免密登录) 准备环境：两台Ubuntu节点server版，，ip我设置的静态，可以实现ssh远程登录window终端（cmd），也可以实现远程登录的,需要注意的是使用Ubuntu远程登录需要先登录普通用户再切换到root用户 说明：登录完毕后切换到root后，root是没有设置密码的，需要使用passwd设置一下rootDocker部署MySQL主从复制
一、为什么要部署MySQL的主从复制 关于这方面的理论网上可查询，这里可以参考的链接 https://blog.51cto.com/zkhylt/1773679 二、MySQL主从同步复制原理 https://blog.51cto.com/zkhylt/1773679 三、实验环境的部署 环境： VMware workstation --> centos7 IP:192.168.86.130 CentO2022.4.9学习成果
Hadoop全分布 一，网络配置 1) 修改当前机器名称 [root@VM-M-01598231825725 ~]# hostnamectl set-hostname master（master为自定义） [root@VM-M-01598231825725 ~]# bash 可以看到主机名称已变更为master 两台子节点修改当前机器名 slavemongodb5.0 搭建副本集
一、复制文件 1. 找到mongodb的安装目录，复制两份并改名(随便什么名称) 2. 找到mongodb的log和data目录，同样复制两份 二、修改配置文件 1. 修改第一步中，复制的两份mongodb文件中的配置文件 别忘了把主服务的配置文件中的replication项也加上相应的值 # mongod.conf # Where and基于Kubernetes/K8S构建Jenkins持续集成平台(上)-1
基于Kubernetes/K8S构建Jenkins持续集成平台(上)-1 Jenkins的Master-Slave分布式构建 什么是Master-Slave分布式构建 Jenkins的Master-Slave分布式构建，就是通过将构建过程分配到从属Slave节点上，从而减轻Master节点的压力，而且可以同时构建多个， 有点类似负载均衡的概Hadoop HA集群启动
实验一：高可用集群启动 实验任务一：HA的启动 步骤一：启动journalnode守护进程 [hadoop@master hadoop]$ hadoop-daemons.sh start journalnode master: starting journalnode, logging to /usr/local/src/hadoop/logs/hadoop-root-journalnode-master.out slave1: starting jou大数据学习笔记-hadoop（3）
在伪分布式的基础上我们继续配置 目录 master配置 slave1配置 启动并测试 master配置 首先查询主机master的节点是否运行 root@master:~# jps 5379 NameNode 5699 SecondaryNameNode 5513 DataNode 8844 Jps 看来节点是正常的，接下来我们继续。 在master上修改本地解析 vim34-redis的主从复制
/ / / / 先创建master、slave1、slave2三个文件夹，将redis.conf分别赋值到三个文件夹中，再进行修改Hadoop完全分布式的搭建
其实完全分布式跟伪分布式的搭建方式基本相同，只有个别文件需要更改，那我们下面开始吧！ 第一步还是配置IP地址，主机名，以及主机与IP地址的映射，教程在我上一篇的伪分布式搭建里面都有，在这里就不再叙述啦。 注：Hadoop完全分布式分为主从两个节点，主节点有一个，我这里将主节点的主机名命名Hadoop安装-超详细
临近毕业，签的公司（国企），和新发offer的公司，都是数据挖掘的岗位，都要求会hadoop、spark等大数据框架，于是自己开始着手学习hadoop，断断续续摸索、看博客等两周时间才搞清楚基本的linux操作（CentOS7），和hadoop的安装。为了写这篇博文，及熟练hadoop分布式的安装，把之前安装好的全部删了，一边安装2021年大数据竞赛（随堂笔记）
一、基础搭建 1.1 配置hosts文件 通过ifconfig查看各节点的 IP 地址，将三个节点的 IP 地址以及其对应的名称写入hosts文件 xxx.xxx.xxx.xxx master xxx.xxx.xxx.xxx slave1 xxx.xxx.xxx.xxx slave2 1.2 关闭防火墙 关闭防火墙：systemctl stop firewalld 查看状态：systemctl sta虚拟机VMware配置centos7集群（亲测有效）
https://blog.csdn.net/weixin_44985601/article/details/110948081?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBCentOS7中多台服务器配置SSH免密钥登录
场景 CentOS7中怎样修改主机名和hosts文件(配置IP和主机名的对应管理)： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119245448 在上面的基础上。 Hadoop中的NameNode和DataNode数据通信采用了SSH协议，需要配置master对各 slave节点的免秘钥登录。 注： 博客： https://Linux操作系统伪分布式配置免密登录
Linux伪分布式配置免密登录 一、说明 该项使用hadoop用户身份配置即可，无需使用超级用户该项按照下面步骤依次在各个节点配置即可。 二、配置 在主节点master上 在主节点master输入以下命令生成秘钥 [hadoop@master ~]$ ssh-keygen -t rsa # 留意前面的中括号和美元符号 复制公8.jmeter分布式
jmeter分布式 jmeter分布式 1、下载jmeter5.1.1的tgz版本，然后上传到Linux 2、修改环境变量 3.发布系统环境变量 4、修改从机配置文件 5、修改主机配置文件 6、启动从机--Linux 7、启动主机--windows 8、非gui模式 问题记录 下面的slave 代表执行机的ip地址 参考文档： https://wwwDocker 搭建 ELK集群
参考资料（直接看官网介绍还是最靠谱的，其他文章可作辅助参考）： https://elk-docker.readthedocs.io/#elasticsearch-cluster-single-host 下文是基于 Docker 安装 ELK 已经完成的基础上，对elasticsearch单节点进行横向扩展，扩展后为一主二从，原有的节点作为主节点。 主节点（mastYARN的高可用性HA配置实战
教程目录 0x00 教程内容 0x01 配置YARN 1. 备份yarn-site.xml 2. 配置HA 3. 同步到从节点 0x02 校验结果 1. 启动YARN 2. 校验配置 3. 查看ZK变化 0x03 恢复回非HA模式 0xFF 总结 0x00 教程内容 配置YARN 校验结果 恢复回非HA模式 PS：与HDFS的HA类似，但比HDHDFS的高可用性HA配置实战
文章目录 0x00 文章内容 0x01 HDFS之HA环境准备 1. 集群规划 2. 备份原本的配置 3. 停止HDFS集群 0x02 配置HA实战 1. 修改hdfs-site.sh配置 2. 修改core-site.sh配置 3. 同步配置到slaves 4. 启动journalnode并同步元数据 5. 校验HA配置 0x03 配置Zookeeper自动切换状态 1.Hadoop集群+Hbase集群搭建
想部署hadoop集群和hbase的集群，我的方式是建议先在一台虚拟机上面部署hadoop伪分布+hbase伪分布，再以这台虚拟机生成克隆，防止出现难以解决的问题，备份一台，给自己必须留一手！！！！ 进行hadoop的集群时每各节点已经部署hadoop的伪分布，所以jdk和hadoop都已经安装。 软件：VMware Workstatihadoop HA高可用集群搭建
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快2021-05-20
河北农业大学第一届“红亚华宇杯” 大数据技能竞赛选拔赛指导手册 1、引言…1 1.1 编写目的…1 1.2 读者对象…1 1.3 环境要求…1 2、操作说明…1 2.1 登陆方式…1 2.2 比赛进行中…2 2.3 比赛已结束…5 大数据竞赛本地源介绍…5 大数据竞赛题目操作手册…7 基础部分…7 1、2021-05-19
。 图 8 比赛已结束 大数据竞赛本地源介绍 本次比赛提供相应的软件压缩包以及相关的 xml 配置文件、数据集，其地址为 http://10.10.30.2:8000/bigdata/。具体如下： 相关安装软件、xml 配置文件 Bigdata_Conf.tar.gz 的路径为 http://10.10.30.2:8Flume的安装与配置
1.背景 在hadoop集群上安装flume，将日志数据传输到HDFS上去 2.规划 三台主机的主机名分别为master,slave1,slave2(防火墙已关闭) 由slave1和slave2收集日志信息,传给master,再由master上传到hdfs上 3.配置 3.1上传解压 在slave1上的usr文件夹下新建个flume文件夹,用作安装路Linux - 虚拟机COPY后的ip修改问题
安装虚拟机后，可以将安装好的一个虚拟机复制两份出来，这样就有了三个安装好的虚拟机，分别命名为master，slave1，slave2. 在VMWare中将复制出来的两个虚拟机加载进来，这个时候会发现slave1和slave2的IP和master的IP是一样的，并且发现master能 通过curl www.baidu.com命令上网， 但是slavlinux下手动部署RabbitMQ
下载erlang安装包 链接：https://pan.baidu.com/s/1Ma_FCTXZvjWvYK8yymiLZw 提取码：9zpv 1.安装依赖包。 [root@slave1 ~]# yum -y install make gcc gcc-c++ m4 ncurses-devel openssl-devel unixODBC-devel 2.安装erlang。 把erlang安装包上传到/usr/local目录，解压 [root@sla