java-flink-测量背压
作者：互联网
我使用Flink进行了一些测试,以与其他流媒体平台进行比较.测试的数据源是一个kafka主题,其通信量各不相同,Im试图找出flink是否跟上潮流.
有没有办法知道kafka消费者承受了多少“背压” flink？ IE是否跟上步伐？
解决方法:
Apache Kafka项目提供了一些工具,可以从Zookeeper中获取主题和消费者信息.
在这种情况下,您可以使用ConsumerOffsetChecker.
该工具将向您输出的是“偏移滞后”,即分区中的最新偏移与当前使用者位置之间的差.
请注意,Flink大约在检查点间隔的频率上更新Zookeeper中的偏移量,因此您看到的信息不是100％准确的,因为它不考虑飞行中的记录.
但这会给您一个很好的主意,无论背压是否正在建立,或者一切进展顺利.
顺便说一句,如果您发现Flink无法使用主题产生的数据,请向邮件列表中的Flink开发人员寻求帮助.在最近进行的一些实验中,我发现Flink的Kafka Consumer可以以非常高的吞吐量读取.
标签：apache-kafka,apache-flink,java 来源： https://codeday.me/bug/20191027/1946389.html