其他分享
首页 > 其他分享> > Kafka 疑难汇总

Kafka 疑难汇总

作者:互联网

一、线上问题:消息经常堆积起来,不能消费了,重启服务就能继续消费了。

消息堆积可能原因如下:

1. 生产速度大于消费速度,这样可以适当增加分区,增加consumer数量,提升消费TPS;

2. consumer消费性能低,查一下是否有很重的消费逻辑(比如拿到消息后写HDFS或HBASE这种逻辑就挺重的),看看是否可以优化consumer TPS;

3. 确保consumer端没有因为异常而导致消费hang住;

4. 如果你使用的是消费者组,确保没有频繁地发生rebalance

主要排查下可能是哪些原因

 

二、如果一个主题,由一个应用的名为A的消费组消费,然后把消费组名改为B,重新发布应用,这个时候是不是从主题的分区头开始消费?如何保证从上次A消费组的最新偏移量处开始消费?

假设你指的名字是group.id。那么把A改成B对于Kafka而言就是新的consumer。新consumer从头还是从最新开始消费取决于auto.offset.reset的设置

标签:消费,分区,汇总,疑难,TPS,消息,Kafka,consumer
来源: https://www.cnblogs.com/zgq25302111/p/13575187.html