Apache Kafka（三）- Kakfa CLI 使用
作者：互联网
1. Topics CLI
1.1 首先启动 zookeeper 与 kafka
> zookeeper-server-start.sh config/zookeeper.properties
…
INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)
INFO Expiring session 0x100ab41939d0000, timeout of 6000ms exceeded (org.apache.zookeeper.server.ZooKeeperServer)
INFO Processed session termination for sessionid: 0x100ab41939d0000 (org.apache.zookeeper.server.PrepRequestProcessor)
INFO Creating new log file: log.1d (org.apache.zookeeper.server.persistence.FileTxnLog)
> kafka-server-start.sh config/server.properties
…
Socket connection established to localhost/127.0.0.1:2181, initiating session (org.apache.zookeeper.ClientCnxn)
INFO Cluster ID = D69veaGlS5Ce3aHTsxCHkQ (kafka.server.KafkaServer)
…
INFO Awaiting socket connections on 0.0.0.0:9092. (kafka.network.Acceptor)
…
INFO Creating /brokers/ids/0 (is it secure? false) (kafka.zk.KafkaZkClient)
INFO Registered broker 0 at path /brokers/ids/0 with addresses: ArrayBuffer(EndPoint(ip-10-0-2-70.cn-north-1.compute.internal,9092,ListenerName(PLAINTEXT),PLAINTEXT)), czxid (broker epoch): 44 (kafka.zk.KafkaZkClient)
这里我们可以简单的了解到，启动了一个Kafka broker，id为 0，监听的端口为9092。
1.2. 创建一个 topic
这里需要注意的是 --replication-factor参数，例如：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --topic first_topic --create --partitions 3 --replication-factor 2
此命令会返回一个报错：
ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.
(kafka.admin.TopicCommand$)
此错误表示的是：指定的replication-factor的数量超过了broker的数量。
所以我们使用以下命令创建一个kafka topic：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --topic first_topic --create --partitions 3 --replication-factor 1
然后列出已创建的kafka topics：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --list
first_topic
如果我们需要更多有关一个topic的信息，如partitions，replication-factors 等，使用--descriebe：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --topic first_topic --describe
Topic:first_topic PartitionCount:3 ReplicationFactor:1 Configs:
Topic: first_topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: first_topic Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: first_topic Partition: 2 Leader: 0 Replicas: 0 Isr: 0
可以看到此topic有3个partition，id分别为0，1，2。每个partition的leader都是broker 0，replicas也是broker 0，Isr也是broker 0（因为replication-replica 为1）
现在我们创建第二个topic：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --topic second_topic --create --partitions 6 --replication-factor 1
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --list
first_topic
second_topic
1.3. 删除一个topic：
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --topic second_topic --delete
Topic second_topic is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
可以看到，second_topic 被标注为deletion。如果delete.topic.enable没有被设置为true，则此topic不会被删除。
> kafka-topics.sh --zookeeper 10.0.2.70:2181 --list
first_topic
根据list的结果，我们可以看到second_topic 被删除，说明delete.topic.enable 默认是true。
2. Produer CLI
根据kafka-console-produer.sh 的使用描述，在使用此脚本时，必须提供的参数是--broker-list与 –topic，现在我们指定这两个参数后执行：
> kafka-console-producer.sh --broker-list 10.0.2.70:9092 --topic first_topic
然后输入messages：
>
>hello world
>are you ok?
>learning kafka
>another message :)
Ctrl + C 退出
在启动一个producer时，也可以指定它的属性，例如：
> kafka-console-producer.sh --broker-list 10.0.2.70:9092 --topic first_topic --producer-property acks=all
>yep is acked
>hello ack
>are you ok? acked!
>^C
若是我们指定一个不存在的topic的话会怎么样？
> kafka-console-producer.sh --broker-list 10.0.2.70:9092 --topic new_topic
>new topic messages
[2019-08-08 03:37:47,160] WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 3 : {new_topic=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
>what about now
>it is ok
>^C
可以看到，在指定一个不存在的topic后，在输入消息时，第一次返回了一个WARN，这是由于此topic 没有一个leader。正如之前提到过的，producer有自动recover的机制，所以会尝试找到一个leader去发送消息。我们使用list看一下结果：
> kafka-topics.sh --zookeeper 10.0.2.70 --list
first_topic
new_topic
> kafka-topics.sh --zookeeper 10.0.2.70 --topic new_topic --describe
Topic:new_topic PartitionCount:1 ReplicationFactor:1 Configs:
Topic: new_topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
可以看到自动新创建的new_topic，以及创建后的默认配置：partition数目为1，replication-factor数目也为1。此默认设置在 server.properties 里配置，例如：
# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
num.partitions=1
建议永远都要先创建topic，不要使用默认创建topic
3. Consumer CLI
通过查看kafka-console-consumer.sh脚本，可以看到必须的参数为：--bootstrap-server 与 --topic。按照规则启动一个consumer：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic
但是可以看到的是，此consumer并未读取任何之前producer发送的数据。原因在于：consumer仅会读取在它启动之后的数据。
所以若是我们此时使用producer向first_topic 发送数据，则会在consumer控制台输出接收到的数据。
那如何获取producer之前发送的所有数据？使用 --from-beginning
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --from-beginning
learning kafka
are you ok? acked!
hello world
another message :)
yep is acked
hi
are you ok?
hello ack
可以看到，以上消息输出的顺序并不为我们输入的顺序。这是因为仅在同一个partition中的消息是有序的，而first_topic 中有3个partitions。若是一个topic中仅有一个partition，则此topic中的全部消息都是有序的。
3. Consumers in Group
3.1. 使用consumer group：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --group my-first-app
使用此方法，可以读取到producer写入的每条消息。
但是如果我们再次启动一个 consumer，使用同样的 --group my-first-app：
最左边的为producer，可以看到的是，第一个consumer先获取一条message，然后第二个consumer获取两条message，然后依次类推。
这是由于：consumer group里当前有两个consumer，而topic有3个partition，所以此时consumer group中的一个consumer会负责2个partition的读，而另一个consumer会负责剩余1个partition的读。
若此时再为同一个consumer group启动一个consumer，则每个partition对应于一个consumer，此时发送3条message，会由3个consumer依次读取。
3.2. 使用--from-beginning
对第二个 consumer group使用 --from-beginning：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --group my-second-app --from-beginning
learning kafka
are you ok? acked!
…
可以看到此consumer 列出了所有之前的消息。若是我们再次执行此命令，则会发现不会打印任何消息。
这是因为每个group的offsets都会由Kafka记录下来。所以再次使用此group读数据时，会使用记录的offsets继续读取数据。
4. Consumer Group CLI
查看 kafka-consumer-groups的用途：
This tool helps to list all consumer groups, describe a consumer group, delete consumer group info, or reset consumer group offsets.
必须的参数是 --bootstrap-server
首先列出所有groups：
> kafka-consumer-groups.sh --bootstrap-server 10.0.2.70:9092 --list
my-first-app
my-first-application
my-second-app
查看一个group的详细信息：
> kafka-consumer-groups.sh --bootstrap-server 10.0.2.70:9092 --describe --group my-first-app
这里首先打出的是：consumer group ‘my-first-app’ has no active members。这是因为我们已经停止了这个consumer group 下的所有 consumers，所以此consumer group 下面没有一个active members。
接下打出的信息显示了每个partition，当前的offset；log里最终的 offset；以及 LAG，它表示的是最终还未被消费的message数量（也就是cur-offset与log-end-offset的差）。
我们再往 my-first-app 写入几条数据，然后对consumer group 做describe：
可以看到 LAG 增加。
然后使用consumer-group 读此topic：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --group my-first-app
help
yep
再 describe：
可以看到LAG为0，且列出了当前consumers 的 id
5. Reset Offset
我们看到 consumer groups 的offset 可以被kafka记录，那如何重置一个consumer group 的offset？使用：
> kafka-consumer-groups.sh --bootstrap-server 10.0.2.70:9092 --reset-offsets --group my-first-app --topic first_topic --to-earliest --execute
GROUP TOPIC PARTITION NEW-OFFSET
my-first-app first_topic 0 0
my-first-app first_topic 2 0
my-first-app first_topic 1 0
使用consumer 检查：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --group my-first-app
learning kafka
are you ok? acked!
…
也可以使用--shift-by将offsets做移动，而不是重置：
这里我们用正数做--shift-by 的参数，可以发现 offset是向后移动。所以若是需要向前移动，则需要使用负数，例如：
> kafka-consumer-groups.sh --bootstrap-server 10.0.2.70:9092 --reset-offsets
--group my-first-app --topic first_topic --shift-by -2 --execute
GROUP TOPIC PARTITION NEW-OFFSET
my-first-app first_topic 0 12
my-first-app first_topic 2 13
my-first-app first_topic 1 13
然后使用 consumer 验证：
> kafka-console-consumer.sh --bootstrap-server 10.0.2.70:9092 --topic first_topic --group my-first-app
help
yep
6. Kafka UI
以上命令均基于命令行，也可以使用图形化界面配置并访问kafka，如Kafka Tool：
此工具官网地址如下：
标签：group,CLI,kafka,topic,Kakfa,sh,Apache,consumer,first 来源： https://www.cnblogs.com/zackstang/p/11334479.html