java-压缩日志在Kafka中保存多长时间？

我是Apache Kafka的新手.我一直在阅读有关“压缩”清理策略的信息.我对此特别感兴趣,因为我想在用于同步不同数据存储以实现最终一致性的主题上使用此策略.

我看到有一个delete.retention.ms选项可供我使用.但这仅适用于“删除”墓碑/有效载荷.我了解到,此选项限制了我在无法查看offset = 0的记录后可以重新运行使用者的时间.但是,我从不硬删除系统中的任何内容.换句话说,我永远不会“删除”墓碑/有效载荷.

由于我永远都不会删除墓碑,所以我想知道卡夫卡将把压缩后的日志保存多久？

注意：我确实遇到过this问题,导致我遇到了this问题.这不能回答我需要知道的内容,或者我不能用它来限制压缩日志的生存时间.如果我错了,请纠正我.

解决方法:

如果您使用日志压缩(而不是日志保留),Kafka将永久保留每个密钥的最新条目(直到您使用明确的逻辑删除消息< key：null>删除整个密钥).

标签：apache-kafka,java
来源： https://codeday.me/bug/20191026/1937792.html