kafka 重要参数
作者：互联网
kafka 重要参数
Broker 端参数
broker.id
每个broker都需要有一个标识符，使用broker.id来表示。它的默认值是0，也可以被设置成其他任意整数。这个值在整个Kafka集群里必须是唯一的。
Port:
如果使用配置样本来启动Kafka，它会监听9092端口。修改port配置参数可以把它设置成其他任意可用的端口。
zookeeper.connect：
用于保存broker元数据的Zookeeper地址是通过zookeeper.connect来指定的。localhost:2181表示这个Zookeeper是运行在本地的2181端口上。该配置参数是用冒号分隔的一组hostname:port/path列表，每一部分的含义如下：
-
hostname是Zookeeper服务器的机器名或IP地址；
-
port是Zookeeper的客户端连接端口；
-
/path是可选的Zookeeper路径，作为Kafka集群的chroot环境。如果不指定，默认使用根路径。
如果指定的chroot路径不存在，broker会在启动的时候创建它。
存储相关的参数
Broker 存储信息，即Broker使用哪些磁盘。
- log.dirs：Kafka把所有消息都保存在磁盘上，存放这些日志片段的目录是通过log.dirs指定的。
- log.dir：注意这是 dir，结尾没有s，说明它只能表示单个路径，它是补充上一个参数用的。
主题的默认配置：
num.partitions：
num.partitions参数指定了新创建的主题将包含多少个分区。
auto.create.topics.enable：
默认情况下，Kafka会在如下几种情形下自动创建主题：
- 当一个生产者开始往主题写入消息时；
- 当一个消费者开始从主题读取消息时；
- 当任意一个客户端向主题发送元数据请求时；
log.retention.ms：
Kafka通常根据时间来决定数据可以被保留多久。默认使用log.retention.hours参数来配置时间，默认值为168小时，也就是一周。
log.retention.bytes：
通过保留的消息字节数来判断消息是否过期。作用在每个分区上的。
auto.create.topics.enable：
是否允许自动创建 Topic。
unclean.leader.election.enable：
是否允许 Unclean Leader 选举。
auto.leader.rebalance.enable：
是否允许定期进行 Leader 选举。
Topic 级别参数
同时设置broker 级别参数和topic 级别参数，哪个生效呢？答案：Topic级别参数。
保存消息纬度：
retention.ms：
规定了该 Topic 消息被保存的时长。默认是 7 天，即该 Topic 只保存最近 7 天的消息。一旦设置了这个值，它会覆盖掉 Broker 端的全局参数值。
retention.bytes：
规定了要为该 Topic 预留多大的磁盘空间。和全局参数作用相似，这个值通常在多租户的 Kafka 集群中会有用武之地。当前默认值是 -1，表示可以无限使用磁盘空间。
max.message.bytes：
决定了 Kafka Broker 能够正常接收该 Topic 的最大消息大小。
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic transaction --partitions 1 --replication-factor 1 --config retention.ms=15552000000 --config max.message.bytes=5242880
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name transaction --alter --add-config max.message.bytes=10485760
JVM
堆大小：建议6GB
KAFKA_HEAP_OPTS：
指定堆大小。
KAFKA_JVM_PERFORMANCE_OPTS：
指定 GC 参数。
在启动kafka 之前，设置两个环境变量：
$> export KAFKA_JVM_PERFORMANCE_OPTS= -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true
$> bin/kafka-server-start.sh config/server.properties
标签：重要,--,Kafka,Topic,参数,kafka,retention 来源： https://www.cnblogs.com/shix0909/p/16572101.html