首页 > 其他分享> > 2021-07-05

2021-07-05

2021-07-05 10:30:08 作者：互联网

kafka
1.Kafka的了解
Kafka是一种高吞吐量的分布式订阅消息系统，可以处理消费者在网站中所有动作流数据。
（高性能、分布式、可分区、基本发布/订阅的消息系统）
Kafka不支持订阅需要在zoopeeper上边执行
Kafka可以有很多个生产者和消费者
2.Kafka的流程
Producer(生产者)生产数据发给kafka之前要给消息指定Topic（主题）可以将消息分类，存储到kafka里面，Consumer（消费者）需要先在zoopeeper上边进行注册，然后逐步拿去数据
3.消息系统
最常见的两种消息系统模型是消息队列模型和发布/订阅模型
消息队列模型是基于队列提供消息传输服务的，其定义了消息队列、发送者、接收者，提供的是一种点对点的消息传递方式。(一旦拿走就没有了，这个消息可以改，可以设置规则)
发布/订阅模型有topic主题的概念，topic翻译过来叫做主题，主题是：比如我们在视频网站的分类。发布订阅：比如关注了一个公众号，一旦发弹出消息它都会有提示。生产者可以根据主题来定义数据，消费者是来使用生产者生产的数据。
4.为什么需要消息系统
解耦：可把原来很依赖的关系不那么依赖，有相似的可以代替
冗余：用来备份的。副本
扩展型：因为消息队列解耦了处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程。因此不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。
灵活性 & 峰值处理能力：没有kafka的时候一直给订单处理发送信息，应用仍然需要发挥作用，现在有了kafka可以能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
可恢复性：有副本，坏了一台还可以做恢复。
顺序保证：保证了数据按照特定的顺序来处理，kafka保证了partition内的消息有序性。
缓存：防止后台服务器冲突
异步通信：不需要立即去处理

5.消费者组
Kafka通过消费者组来支持两个模型：队列模式（queuing，即单播）和发布-订阅模式(publish-subscribe，即广播)。kafka通过引入consumer组(consumer group)来同时支持这两种模型。
1.队列模式
各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。
如果所有的consumer都具有相同的group，那这就是队列模式。消息将会在consumers之间负载均衡。
2.发布/订阅
如果所有的consumer都具有不同的group,那这就是"发布-订阅";消息将会广播给所有的消费者。

注：负载均衡是为了数据的不重复消费
避免单节点故障
一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；

6.Topics（主题） & Partition（生产者）
每条消息必须指定一个队列，为了是kafka的吞吐率可以线性提高，物理上把tcopic分成了一个或者多个partition，每一个partition都要对应一个文件夹，该文件夹下存储这个 Partition 的所有消息和索引文件。然而，索引文件是可以来加快查询的。
在硬盘上又多个分区，，分区数量越多，吞吐两也越大，分区设置均匀，他的速度就很快，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中。
消息发送时都被发送到一个topic，其本质就是一个目录，一个Topic可以认为是一类消息，而每个topic是由一些Partition Logs(分区日志)组成,每个partition在存储层面是append log文件。每个Partition中的消息都是有序的，任何发布到此partition的消息都会被直接追加到log文件的尾部，其中每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字（很多，很大所以的long型数字），它是唯一标记一条消息。每条消息都被append到partition中，是顺序写磁盘，因此效率非常高
我们可以把每个编号当作一个偏移量，保存了kafka的所有数据，还要保存消费者的偏移量。提供发布订阅，zoopeeper跟生产者是没有关系的。

通过分区的概念，Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡，注意consumer的数量不能多于分区的数量，也就是有多少分区就允许多少并发消费。counsumer的意思是消费者，消费者的的数量不能超过分区的量
注意kafka只支持topic

主就是用来写，从就是用来读，主坏了一个从来选择一个主继续写。主还要负责跟踪从的状态，避免所有的leader在一个机子上。

集群中的每个服务器都会同时扮演两个角色：作为它所持有的一部分分区的leader，同时作为其他分区的followers，这样集群就会据有较好的负载均衡。

Follower和consumer一样,消费消息并保存在本地日志中;leader负责跟踪所有的follower状态,如果follower"落后"太多或者失效,leader将会把它从replicas同步列表中删除。当所有的follower都将一条消息保存成功,此消息才被认为是"committed",
1.kafka安装
1.1.上传软件包
[root@dr1 ~]# ls
apache-zookeeper-3.5.5-bin.tar.gz kafka_2.12-2.2.0.tgz
1.2.解压
[root@dr1 ~]# tar -zxf kafka_2.12-2.2.0.tgz -C /usr/local/
1.3.修改目录名字
[root@dr1 ~]# mv /usr/local/kafka_2.12-2.2.0 /usr/local/kafka
1.4.修改配置文件
[root@dr1 ~]# vim /usr/local/kafka/config/server.properties
21 broker.id=20
22 delete.topic.enable=true
23 auto.create.topic.enable=false
32 listeners=PLAINTEXT://dr1:9092
37 advertised.listeners=PLAINTEXT://dr1:9092
61 log.dirs=/daka/kafka/log
66 num.partitions=4
124 zookeeper.connect=dr1:2181,dr2:2181,dr3:2181
1.5.配置变量
[root@dr1 ~]# vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH= K A F K A H O M E / b i n : KAFKA_HOME/bin: KAFKAHOME/bin:PATH
[root@dr1 ~]# source /etc/profile #使变量生效
2.拷贝
[root@dr1 ~]# scp -r /usr/local/kafka dr2:/usr/local/
[root@dr1 ~]# scp -r /usr/local/kafka dr3:/usr/local/
[root@dr1 ~]# scp /etc/profile dr2:/etc/
[root@dr1 ~]# scp /etc/profile dr2:/etc/
3.创建目录
三台都要创建
[root@dr1 ~]# mkdir /data/kafka/log
4.修改配置
两台服务器修改
[root@dr2 ~]# vim /usr/local/kafka/config/server.properties
broker.id=30
listeners=PLAINTEXT://dr2:9092
advertised.listeners=PLAINTEXT://dr2:9092
[root@dr3 ~]# vim /usr/local/kafka/config/server.properties
broker.id=40
listeners=PLAINTEXT://dr3:9092
advertised.listeners=PLAINTEXT://dr3:9092
5.启动kafka
（前台启动）
[root@dr1 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
[root@dr2 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
[root@dr3 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
（后台启动）
[root@dr1 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@dr2 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@dr3 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
5.1.查看每个节点的kafka监听状态

[root@dr1 ~]# netstat -antup | grep 9092

这里写自定义目录标题

欢迎使用Markdown编辑器

欢迎使用Markdown编辑器

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

~~删除文本~~

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片:

居中的图片: Alt

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

关于 甘特图 语法，参考这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

关于 Mermaid 语法，参考这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

关于 Flowchart流程图 语法，参考这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

mermaid语法说明 ↩︎
注脚的解释 ↩︎

标签：07,05,dr1,local,kafka,2021,server,root,usr
来源： https://blog.csdn.net/weixin_52847424/article/details/118483162