ZooKeeper和Kafka集群部署
作者：互联网
1. 基础环境配置
（1）主机名配置
使用secureCRT对3台云主机进行连接。
3个节点修改主机名为zookeeper1、zookeeper2、zookeeper3，命令如下：
zookeeper1节点：
[root@localhost ~]# hostnamectl set-hostname zookeeper1
[root@localhost ~]# bash
[root@zookeeper1 ~]#
zookeeper2节点：
[root@localhost ~]# hostnamectl set-hostname zookeeper2
[root@localhost ~]# bash
[root@zookeeper2 ~]#
zookeeper3节点：
[root@localhost ~]# hostnamectl set-hostname zookeeper3
[root@localhost ~]# bash
[root@zookeeper3 ~]#
修改完之后重新连接secureCRT，并查看主机名：
zookeeper1节点：
[root@zookeeper1 ~]# hostnamectl
zookeeper2节点：
[root@zookeeper2 ~]# hostnamectl
zookeeper3节点：
[root@zookeeper3 ~]# hostnamectl
（2）配置hosts文件
3个节点修改/etc/hosts文件，3个节点均修改成如下代码所示：
[root@zookeeper1 ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.131.23 zookeeper1
192.168.131.32 zookeeper2
192.168.131.41 zookeeper3
（3）配置YUM源
将提供的gpmall-repo目录上传至3个节点的/opt目录下，首先将3个节点/etc/yum.repo.d目录下的文件移动到/media目录下，命令如下：
[root@zookeeper1 ~]# mv /etc/yum.repos.d/* /media/
在3个节点上创建/etc/yum.repo.d/local.repo，文件内容如下：
[root@zookeeper1 ~]# vi /etc/yum.repos.d/local.repo
[gpmall]
name=gpmall
baseurl=file:///opt/gpmall-repo
gpgcheck=0
enabled=1
[centos]
name=centos
baseurl=file:///opt/centos
gpgcheck=0
enabled=1
[root@zookeeper1 ~]# yum clean all
[root@zookeeper1 ~]# yum repolist
2. 搭建ZooKeeper集群
（1）安装JDK环境
3个节点安装Java JDK环境，3个节点均执行命令如下：
[root@zookeeper1 ~]# yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
[root@zookeeper1 ~]# java -version
（2）解压ZooKeeper软件包
将zookeeper-3.4.14.tar.gz软件包上传至3个节点的/root目录下，进行解压操作，3个节点均执行命令如下：
[root@zookeeper1 ~]# tar -zxvf zookeeper-3.4.14.tar.gz
（3）修改3个节点配置文件
在zookeeper1节点，进入zookeeper-3.4.14/conf目录下，修改zoo_sample.cfg文件为zoo.cfg，并编辑该文件内容如下：
[root@zookeeper1 ~]# cd zookeeper-3.4.14/conf/
[root@zookeeper1 conf]# mv zoo_sample.cfg zoo.cfg
[root@zookeeper1 conf]# vi zoo.cfg
[root@zookeeper1 conf]# grep -n '^'[a-Z] zoo.cfg
server.1=192.168.131.23:2888:3888
server.2=192.168.131.32:2888:3888
server.3=192.168.131.41:2888:3888
命令解析：
l initLimit：ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
l syncLimit：配置follower和leader之间发送消息，请求和应答的最大时间长度。
l tickTime：tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。
l server.id=host:port1:port2：其中id为一个数字，表示zk进程的id，这个id也是dataDir目录下myid文件的内容。host是该zk进程所在的IP地址，port1表示follower和leader交换消息所使用的端口，port2表示选举leader所使用的端口。
l dataDir：其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。
注意：zookeeper2和zookeeper3节点的操作与修改的配置和zookeeper1节点一样。
（4）创建myid文件
在3台机器dataDir目录（此处为/tmp/zookeeper）下，分别创建一个myid文件，文件内容分别只有一行，其内容为1，2，3。即文件中只有一个数字，这个数字即为上面zoo.cfg配置文件中指定的值。ZooKeeper是根据该文件来决定ZooKeeper集群各个机器的身份分配。
创建myid文件，命令如下：
zookeeper1节点：
[root@zookeeper1 conf]# mkdir /tmp/zookeeper
[root@zookeeper1 conf]# vi /tmp/zookeeper/myid
1
zookeeper2节点：
[root@zookeeper2 conf]# mkdir /tmp/zookeeper
[root@zookeeper2 conf]# vi /tmp/zookeeper/myid
2
zookeeper3节点：
[root@zookeeper3 conf]# mkdir /tmp/zookeeper
[root@zookeeper3 conf]# vi /tmp/zookeeper/myid
3
（5）启动ZooKeeper服务(关闭防火墙)
在3台机器的zookeeper-3.4.14/bin目录下执行命令如下：
zookeeper1节点：
[root@zookeeper1 ~]# cd zookeeper-3.4.14/bin/
[root@zookeeper1 bin]# ./zkServer.sh start
[root@zookeeper1 bin]# ./zkServer.sh status
zookeeper2节点：
[root@zookeeper2 ~]# cd zookeeper-3.4.14/bin/
[root@zookeeper2 bin]# ./zkServer.sh start
[root@zookeeper2 bin]# ./zkServer.sh status
zookeeper3节点：
[root@zookeeper3 ~]# cd zookeeper-3.4.14/bin/
[root@zookeeper3 bin]# ./zkServer.sh start
[root@zookeeper3 bin]# ./zkServer.sh status
可以看到，3个节点，zookeeper2为leader，其他的都是follower。
至此，ZooKeeper集群配置完毕。
注意：查看状态出现问题时，所有节点都启动一下，再查看状态。
搭建Kafka集群
（1）解压Kafka软件包
将提供的kafka_2.11-1.1.1.tgz软件包，上传至3个节点的/root目录下，并执行解压操作，3个节点执行的解压命令如下：
[root@zookeeper1 ~]# tar -zxvf kafka_2.11-1.1.1.tgz
（2）修改3个节点配置文件
在zookeeper1节点，进入kafka_2.11-1.1.1/config目录下，编辑server.properties文件。
在配置文件中找到以下两行并注释掉（在文本前加#）如下所示：
[root@zookeeper1 ~]# vi kafka_2.11-1.1.1/config/server.properties
#broker.id=0
#zookeeper.connect=localhost:2181
然后在配置文件的底部添加如下3个配置。
zookeeper1节点：
broker.id=1
zookeeper.connect=192.168.131.23:2181,192.168.131.32:2181,192.168.131.41:2181
listeners = PLAINTEXT://192.168.131.23:9092
命令解析：
l broker.id：每台机器不能一样。
l zookeeper.connect：因为有3台ZooKeeper服务器，所以在这里zookeeper.connect设置为3台。
l listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误。
另外两台服务器，zookeeper.connect的配置跟这里的一样，但是broker.id和listeners不能一样。
zookeeper2节点：
broker.id=2
zookeeper.connect=192.168.131.23:2181,192.168.131.32:2181,192.168.131.41:2181
listeners = PLAINTEXT://192.168.131.32:9092
zookeeper3节点：
broker.id=3
zookeeper.connect=192.168.131.23:2181,192.168.131.32:2181,192.168.131.41:2181
listeners = PLAINTEXT://192.168.131.41:9092
（3）启动服务
在zookeeper1节点，进入kafka_2.11-1.1.1/bin目录下，启动服务命令如下。
zookeeper1节点：
[root@zookeeper1 ~]# cd kafka_2.11-1.1.1/bin/
[root@zookeeper1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@zookeeper1 bin]# jps
zookeeper2节点：
[root@zookeeper2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@zookeeper2 bin]# jps
zookeeper3节点：
[root@zookeeper3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@zookeeper3 bin]# jps
（4）测试服务
在zookeeper1节点，进入kafka_2.11-1.1.1/bin目录下，创建topic命令如下。
zookeeper1节点：
[root@zookeeper1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.131.23:2181 --replication-factor 1 --partitions 1 --topic test
如果成功的话，会输出“Created topic "test".”。
查看topic，虽然topic是在172.16.51.23上创建的，但是在其他机器上也能看到。例如在任意启动的机器kafka_2.11-1.1.1/bin的目录中执行命令如下：
zookeeper2节点：
[root@zookeeper2 bin]# ./kafka-topics.sh --list --zookeeper 192.168.131.32:2181
zookeeper3节点：
[root@zookeeper3 bin]# ./kafka-topics.sh --list --zookeeper 192.168.131.41:2181
测试成功。
标签：bin,zookeeper,ZooKeeper,节点,集群,Kafka,root,zookeeper1,zookeeper2 来源： https://blog.csdn.net/Li_FengBiao/article/details/121491897