Kafka知识总结

〇、相关资料

1、快速搭建文档：

2、详细讲义

3、在线官方文档：http://kafka.apache.org/documentation/

4、Kafka知识个人总结

5、KafkaPPT汇报

链接：https://pan.baidu.com/s/16VufOVYu8H1I13sENnvN1A 
提取码：USTC （1，2，4，5）

一、基本组成

1、架构

 2、项目目录

3、配置文件详解

server.properties   https://www.cnblogs.com/alan319/p/8651434.html

生产者与消费者 https://blog.csdn.net/universsky2015/article/details/115234772

二、概念/参数/特性详解

1、常见名词解释

• 基本组成
  • Broker
  • Topic
  • Partition
    • Leader
    • Follower
  • Producer
  • Consumer
    • Offset
    • log
  • Consumer Group
• Quotas：配额，控制客户端使用的代理资源，避免流量超过阈值从而降低用户体验，会根据user和client进行设置
  • 使用kafka-configs.sh命令行进行设置
• 认证方式
  • PLAINTEXT：明文/纯文本，在broker客户端配置kafka_server_jaas.conf认证信息，是无安全认证的监听方式
  • SSL：Secure Sockets Layer，安全套接字协议（密文）
  • SASL：Simple Authentication and Security Layer，简单认证和安全层，SASL_PLAINTEXT/SASL_SSL是有安全认证的监听方式，SASL可以使用PLAIN和SCRAM机制
    • PLAIN：明文，只需要在JAAS中配置server和client的认证信息
      • JAAS：Java Authentication and Authorization Service，Java认证和授权服务，需要在客户端中配置kafka_client_jaas.conf文件，配置明文认证信息KafkaClient
    • SCRAM：Salted Challenge Response Authentication Mechanism，盐化的质询响应认证机制，可以不用重启就能新增用户，与PLAIN是两种常用的权限认证方式
      • 只能使用安全传输层协议TLS，Transport Layer Security，配置JAAS文件的同时使用命令行设置认证方式
      • 通过 SCRAM-SHA-256【Strong Hash，强密码和强迭代技术】和SCRAM-SHA-512两种安全认证方式配合TLS完成安全权限认证
• ACL：用户权限控制/访问控制列表，一种权限认证方式
  • 需要配置allow.everyone.if.no.acl.found=true【如果无ACL权限控制，就允许任意用户进行访问】
  • 通过kafka-acls.sh对用户/主机/principal主体设置读写等权限
• Multi-tenancy：多租户模式，可以实现用户空间、集群共享，权限认证
• 关系：SASL(_PLAINTEXT)安全认证，需要先配置broker和client的JAAS文件，可以使用PLAIN（只需要配置jaas即可）/SCRAM（包含两种安全认证/加密方式，配置jaas+命令行添加配置）进行加密【jaas+命令行】

三、使用

1、命令行操作

• 安装与配置
• 启动停止
• topic的CRUD
• 消息的生产消费

2、Kafka Client API操作

3、官方文档内容

五、深入介绍

1、安全认证

 

2、工作流程

3、文件存储

4、生产者

5、消费者

6、高效读写的实现

7、zookeeper的作用

8、监控运维

标签：总结,配置,知识,认证,SCRAM,kafka,SASL,权限,Kafka
来源： https://www.cnblogs.com/liujinhui/p/14953857.html