其他分享
首页 > 其他分享> > zookeeper kafka迁移后logstash消费不了Kafka消息

zookeeper kafka迁移后logstash消费不了Kafka消息

作者:互联网

zookeeper和kafka安装在同3台机器上,组成一个集群,对外提供服务

因为种种原因,需要将kafka和zookeeper 做整体迁移

首先 申请3台机器部署好zookeeper服务,加到原来的集群中,方法见上篇Zookeeper迁移(扩容/缩容)

将kafka也加入到现有的集群中,将数据迁移到新的broker中

将老的3台zookeeper 和kafka下线,发现kafka的就无法消费数据,logstash启动报错

image.png


解决方法

进入zookeeper 运行zkCli.sh 

运行ls /brokers/topics 查看主题

image.png

然后运行 rmr /brokers/topics/__consumer_offsets 

image.png

然后重启kafka集群就好了

nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

image.png



__consumer_offsets数据没有迁移,所有偏移量还是连接老的borker,所以才会出现客户端无法消费的现象

image.png


标签:offsets,topics,zookeeper,Kafka,集群,迁移,kafka
来源: https://blog.51cto.com/536410/2407568