其他分享
首页 > 其他分享> > 2.kafka集群环境搭建

2.kafka集群环境搭建

作者:互联网

2.1.集群主机规划

序号机器名称ip/mac地址硬件资源安装服务
1 cdh1 root/server123 192.168.80.100,00:50:56:2B:5B:EF cpu:2核 , 内存:2.5g ,硬盘20g ,网卡:千兆网卡 jdk、zookeeper、kafka
2 cdh2 root/server123 192.168.80.101,00:50:56:39:23:67 cpu:2核 , 内存:2.5g ,硬盘20g ,网卡:千兆网卡 jdk、zookeeper、kafka
3 cdh3 root/server123 192.168.80.102,00:50:56:3E:3A:0B cpu:2核 , 内存:2.5g ,硬盘20g ,网卡:千兆网卡 jdk、zookeeper、kafka

说明:集群主机之间需要配置ssh免密码登录

免密登录参考:https://www.cnblogs.com/luzhanshi/p/13369797.html

安装zookeeper集群

下载zookeeper

#zookeeper官网地址:
http://zookeeper.apache.org/
一个分布式协调服务,管理我们的集群
官网提供配置说明:https://zookeeper.apache.org/doc/current/zookeeperStarted.html

上传解压

解压到

/usr/local/zookeeper/:

配置

菜单进入conf目录下面,将zoo_sample.cfg复制一份到本目录并改名为zoo.cfg

 

 

 vim编辑该配置文件:

#编辑文件:
    vim zoo.cfg
    
----------------------------------------------------------------------------
# The number of milliseconds of each tick
#时间单元,zk中的所有时间都是以该时间单元为基础,进行整数倍配置(单位是毫秒,下面配置的是2秒)
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
#follower在启动过程中,会从leader同步最新数据需要的最大时间。如果集群规模比较大,可以调大该参数
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
#leader与集群中所有机器进行心跳检查的最大时间。如果超出该时间,某follower没有回应,则说明该follower下线
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
#事务日志输出目录
dataDir=/usr/local/zookeeper/zookeeper-3.4.5-cdh5.14.0/zkdatas
# the port at which the clients will connect
#客户端连接端口
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#需要保留文件数目,默认就是3个
autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#自动清理事务日志和快照文件的频率,这里是1个小时
autopurge.purgeInterval=1

#集群服务器配置,数字1/2/3需要与myid文件一致。右边两个端口,2888表示数据同步和通信端口;3888表示选举端口
server.1=域名1:2888:3888
server.2=域名2:2888:3888
server.3=域名3:2888:3888

上面我的域名设置是my.server1;my.server2;my.server3

创建数据目录和myid

#创建数据存储目录:
    mkdir -p /usr/local/zookeeper/zookeeper-3.4.5-cdh5.14.0/zkdatas 
#创建myid:
  cd/usr/local/zookeeper/zookeeper-3.4.5-cdh5.14.0/zkdatas
  touch myid
  并编辑myid内容为1

分发到其它主机节点

注意,下面语句是以我的其他两天服务器主机别名分别是server02和server03为基础

#分发到node02节点,并修改myid内容为2:
     scp -r zookeeper-3.4.5-cdh5.14.0/ server02:$PWD

#分发到node03节点,并修改myid内容为3:
     scp -r zookeeper-3.4.5-cdh5.14.0/ server03:$PWD

启动zookeeper集群

分别在node01/node02/node03节点启动/停止:
    /usr/local/zookeeper/zookeeper-3.4.5-cdh5.14.0/bin/zkServer.sh start/stop
#查看集群状态: /usr/local/zookeeper/zookeeper-3.4.5-cdh5.14.0/bin/zkServer.sh status

 

 

 如果在查看状态的时候出现如下错误:

 

 出现这个问题有一下几种可能性:

 1.防火墙没有关闭,就是对应的集群端口没有开放,所以各个节点之间没办法通信(zoo.cfg中最后自己配置的内容(包括2888端口和3888端口)以及zookeeper自己的2181端口); 

 2.zookeeper中conf目录下的zoo.cfg配置文件有问题,查看日志dataLog文件的目录,以及data数据文件的目录是否正确; 

 3.myid文件中的内容是否和zoo.cfg中配

开放上述端口:

再次测试:

 

 

安装kafka集群

下载kafka

#kafka官网:
http://kafka.apache.org/
http://kafka.apache.org/downloads

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

#分发到node02节点,并修改myid内容为2:

 

标签:zookeeper,端口,kafka,集群,myid,cdh5.14,搭建
来源: https://www.cnblogs.com/luzhanshi/p/13369834.html