其他分享
首页 > 其他分享> > kafka术语

kafka术语

作者:互联网

Topic:发布订阅的对象称为主题(topic),可以为每个应用,每个业务甚至每个类创建专属的主题。

clients:生产者和消费者统称为clients。

  Producer:向主题发布消息的客户端应用称为生产者,生产者程序通常不断的向一个或多个主题发送消息。

  Consumer:订阅这些主题消息的客户端应用称为消费者,可同时订阅多个主题的消息。

Broker:Kafka服务器端,一个Kafka集群由多个broker组成。broker负责接收和处理客户端发送的请求,并对消息进行持久化处理。通常将多个broker分布于多台机器,提高其可用性。

Replication:实现高可用的另一个手段-备份机制。把相同的数据拷贝到多台机器上去。

  Replica:这些被拷贝到其他机器上的数据称为副本。

    Leader Replica:领导者副本,对外提供服务,直接与客户端进行交互。生产者总是向领导者副本写消息,消费者总是向领导者副本读消息。

    Follower Replica:追随者副本,不对外提供服务,被动追随领导者副本。只向领导者副本发送最新消息同步的请求,领导者副本将最新消息发送给追随者副本之后,两者之间保持同步。

Patition:分区,一个主题可以被划分为多个分区,分区编号从0开始,生产者生产的每条消息只会在一个分区中,假设有两个分区,该消息要么在0分区要么在1分区。每个分区下面配置多个副本,通常为一个领导者副本,N-1个追随者副本。生产者向分区写入消息,                    每条消息在分区中的位置信息由一个叫位移(Offset)的数据来表征。分区位移总是从 0 开始

总结来讲,三层消息架构:

  1)主题层,每个主题可以设置M个分区,每个分区可配置N个副本;

  2)分区层,每个分区配置N个副本,只有一个作为领导者副本对外提供服务,其余N-1个追随者副本只做数据冗余之用;

  3)消息层,分区中包含若干条消息,每条消息从位移0开始,依次递增。

数据持久化:使用磁盘上智能追加写的消息日志来保存数据,且只能追加写,避免了缓慢的随机IO操作;在底层Kafka将日志细分为多个日志段,消息被追加到最新的日志段中,写满后自动切分出新的日志段,将老的日志段封存起来,并定期检查老的日志段能否被删除。

分区位移与消费者位移:分区位移只分区内的消息位置,一旦消息被写到一个分区上其位移值就固定下来;消费者位移是随时变化的,因为其是消费者消费的进度指示。

标签:术语,副本,分区,领导者,kafka,消息,日志,位移
来源: https://www.cnblogs.com/hengw/p/16637056.html