(3)Kafka命令行操作

文章目录

查看当前服务器中的所有topic

kafka-topics.sh --zookeeper note01:2181 --list

创建topic

bin/kafka-topics.sh --zookeeper note01:2181,note02:2181,note03:2181 --create --topic test --replication-factor 3 --partitions 3

查看topic的信息

bin/kafka-topics.sh --zookeeper note01:2181,note02:2181,note03:2181 --describe --topic test 

解读topic的具体信息

Topic:test	PartitionCount:3	ReplicationFactor:2	Configs:
	Topic: test	Partition: 0	Leader: 2	Replicas: 0,2  Isr: 2
	Topic: test	Partition: 1	Leader: 1	Replicas: 1,0  Isr: 1
	Topic: test	Partition: 2	Leader: 2	Replicas: 2,1  Isr: 2,1

kafka进程是不分主从,但是分区有leader分区和follower分区,leader负责读写,follower负责同步数据,从分区负责同步数据(可以配置可读写)

当有多个生产者和消费者对数据进行消费的时候,每个分区上的leader活跃对请求进行分散处理,因为broker在不同机器上

生产中副本建议三份,分区数可以是broker*机器上可以用的核数

删除topic

 kafka-topics.sh --zookeeper note01:2181 --delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除。
发送消息

kafka-console-producer.sh --broker-list note01:9092 --topic first
>hello world

消费消息

kafka-console-consumer.sh --bootstrap-server note01:9092 --from-beginning --topic first

–from-beginning：会把主题中以往所有的数据都读取出来。

修改分区数

kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic first --partitions 6

标签：--,Kafka,topic,2181,sh,命令行,操作,kafka,note01
来源： https://blog.51cto.com/bigdata/2864056