zookeeper kafka迁移后logstash消费不了Kafka消息
作者:互联网
zookeeper和kafka安装在同3台机器上,组成一个集群,对外提供服务
因为种种原因,需要将kafka和zookeeper 做整体迁移
首先 申请3台机器部署好zookeeper服务,加到原来的集群中,方法见上篇Zookeeper迁移(扩容/缩容)
将kafka也加入到现有的集群中,将数据迁移到新的broker中
将老的3台zookeeper 和kafka下线,发现kafka的就无法消费数据,logstash启动报错
解决方法
进入zookeeper 运行zkCli.sh
运行ls /brokers/topics 查看主题
然后运行 rmr /brokers/topics/__consumer_offsets
然后重启kafka集群就好了
nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &
__consumer_offsets数据没有迁移,所有偏移量还是连接老的borker,所以才会出现客户端无法消费的现象
标签:offsets,topics,zookeeper,Kafka,集群,迁移,kafka 来源: https://blog.51cto.com/536410/2407568