Kafka复习

Kafka复习

Kafka数据积压了，怎么办？

​ 思路：找到是什么原因导致Kafka数据积压？有可能是Kafka分区数量不足，也有可能是消费者消费速率不足。

​

解决Kafka数据积压问题的方法：

​ 1.增加分区。注意，在增加kafka分区的同时，也要增加下一级消费者CPU核数。

​ 2.提高下一级消费者（如：flume、sparkstreaming）的消费速率。具体可以增加batchsize，从原本的1000条每秒增加到2000条每秒。

​ 3.如果增加分区和提高下一级消费者的消费速率都无法解决Kafka的数据积压问题，则考虑增加数据保存时间。

标签：积压,复习,分区,Kafka,速率,增加,消费者
来源： https://blog.csdn.net/qq_41072814/article/details/115598985