其他分享
首页 > 其他分享> > 2021-07-05

2021-07-05

作者:互联网

kafka
1.Kafka的了解
Kafka是一种高吞吐量的分布式订阅消息系统,可以处理消费者在网站中所有动作流数据。
(高性能、分布式、可分区、基本发布/订阅的消息系统)
Kafka不支持订阅需要在zoopeeper上边执行
Kafka可以有很多个生产者和消费者
2.Kafka的流程
Producer(生产者)生产数据发给kafka之前要给消息指定Topic(主题)可以将消息分类,存储到kafka里面,Consumer(消费者)需要先在zoopeeper上边进行注册,然后逐步拿去数据
3.消息系统
最常见的两种消息系统模型是消息队列模型和发布/订阅模型
消息队列模型是基于队列提供消息传输服务的,其定义了消息队列、发送者、接收者,提供的是一种点对点的消息传递方式。(一旦拿走就没有了,这个消息可以改,可以设置规则)
发布/订阅模型有topic主题的概念,topic翻译过来叫做主题,主题是:比如我们在视频网站的分类。发布订阅:比如关注了一个公众号,一旦发弹出消息它都会有提示。生产者可以根据主题来定义数据,消费者是来使用生产者生产的数据。
4.为什么需要消息系统
解耦:可把原来很依赖的关系不那么依赖,有相似的可以代替
冗余:用来备份的。副本
扩展型:因为消息队列解耦了处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程。因此不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。
灵活性 & 峰值处理能力:没有kafka的时候一直给订单处理发送信息,应用仍然需要发挥作用,现在有了kafka可以能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。
可恢复性:有副本,坏了一台还可以做恢复。
顺序保证:保证了数据按照特定的顺序来处理,kafka保证了partition内的消息有序性。
缓存:防止后台服务器冲突
异步通信:不需要立即去处理

5.消费者组
Kafka通过消费者组来支持两个模型:队列模式(queuing,即单播)和发布-订阅模式(publish-subscribe,即广播)。kafka通过引入consumer组(consumer group)来同时支持这两种模型。
1.队列模式
各个consumer可以组成一个组,每个消息只能被组中的一个consumer消费,如果一个消息可以被多个consumer消费的话,那么这些consumer必须在不同的组。
如果所有的consumer都具有相同的group,那这就是队列模式。消息将会在consumers之间负载均衡。
2.发布/订阅
如果所有的consumer都具有不同的group,那这就是"发布-订阅";消息将会广播给所有的消费者。

注:负载均衡是为了数据的不重复消费
避免单节点故障
一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic;

6.Topics(主题) & Partition(生产者)
每条消息必须指定一个队列,为了是kafka的吞吐率可以线性提高,物理上把tcopic分成了一个或者多个partition,每一个partition都要对应一个文件夹,该文件夹下存储这个 Partition 的所有消息和索引文件。然而,索引文件是可以来加快查询的。
在硬盘上又多个分区,,分区数量越多,吞吐两也越大,分区设置均匀,他的速度就很快,kafka在接收到生产者发送的消息之后,会根据均衡策略将消息存储到不同的分区中。
消息发送时都被发送到一个topic,其本质就是一个目录,一个Topic可以认为是一类消息,而每个topic是由一些Partition Logs(分区日志)组成,每个partition在存储层面是append log文件。每个Partition中的消息都是有序的,任何发布到此partition的消息都会被直接追加到log文件的尾部,其中每条消息在文件中的位置称为offset(偏移量),offset为一个long型数字(很多,很大所以的long型数字),它是唯一标记一条消息。每条消息都被append到partition中,是顺序写磁盘,因此效率非常高
我们可以把每个编号当作一个偏移量,保存了kafka的所有数据,还要保存消费者的偏移量。提供发布订阅,zoopeeper跟生产者是没有关系的。

通过分区的概念,Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡,注意consumer的数量不能多于分区的数量,也就是有多少分区就允许多少并发消费。counsumer的意思是消费者,消费者的的数量不能超过分区的量
注意kafka只支持topic

主就是用来写,从就是用来读,主坏了一个从来选择一个主继续写。主还要负责跟踪从的状态,避免所有的leader在一个机子上。

集群中的每个服务器都会同时扮演两个角色:作为它所持有的一部分分区的leader,同时作为其他分区的followers,这样集群就会据有较好的负载均衡。

Follower和consumer一样,消费消息并保存在本地日志中;leader负责跟踪所有的follower状态,如果follower"落后"太多或者失效,leader将会把它从replicas同步列表中删除。当所有的follower都将一条消息保存成功,此消息才被认为是"committed",
1.kafka安装
1.1.上传软件包
[root@dr1 ~]# ls
apache-zookeeper-3.5.5-bin.tar.gz kafka_2.12-2.2.0.tgz
1.2.解压
[root@dr1 ~]# tar -zxf kafka_2.12-2.2.0.tgz -C /usr/local/
1.3.修改目录名字
[root@dr1 ~]# mv /usr/local/kafka_2.12-2.2.0 /usr/local/kafka
1.4.修改配置文件
[root@dr1 ~]# vim /usr/local/kafka/config/server.properties
21 broker.id=20
22 delete.topic.enable=true
23 auto.create.topic.enable=false
32 listeners=PLAINTEXT://dr1:9092
37 advertised.listeners=PLAINTEXT://dr1:9092
61 log.dirs=/daka/kafka/log
66 num.partitions=4
124 zookeeper.connect=dr1:2181,dr2:2181,dr3:2181
1.5.配置变量
[root@dr1 ~]# vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH= K A F K A H O M E / b i n : KAFKA_HOME/bin: KAFKAH​OME/bin:PATH
[root@dr1 ~]# source /etc/profile #使变量生效
2.拷贝
[root@dr1 ~]# scp -r /usr/local/kafka dr2:/usr/local/
[root@dr1 ~]# scp -r /usr/local/kafka dr3:/usr/local/
[root@dr1 ~]# scp /etc/profile dr2:/etc/
[root@dr1 ~]# scp /etc/profile dr2:/etc/
3.创建目录
三台都要创建
[root@dr1 ~]# mkdir /data/kafka/log
4.修改配置
两台服务器修改
[root@dr2 ~]# vim /usr/local/kafka/config/server.properties
broker.id=30
listeners=PLAINTEXT://dr2:9092
advertised.listeners=PLAINTEXT://dr2:9092
[root@dr3 ~]# vim /usr/local/kafka/config/server.properties
broker.id=40
listeners=PLAINTEXT://dr3:9092
advertised.listeners=PLAINTEXT://dr3:9092
5.启动kafka
(前台启动)
[root@dr1 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
[root@dr2 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
[root@dr3 ~]# kafka-server-start.sh /usr/local/kafka/config/server.properties
(后台启动)
[root@dr1 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@dr2 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@dr3 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
5.1.查看每个节点的kafka监听状态

[root@dr1 ~]# netstat -antup | grep 9092

这里写自定义目录标题

欢迎使用Markdown编辑器

你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:

  1. 全新的界面设计 ,将会带来全新的写作体验;
  2. 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示;
  3. 增加了 图片拖拽 功能,你可以将本地的图片直接拖拽到编辑区域直接展示;
  4. 全新的 KaTeX数学公式 语法;
  5. 增加了支持甘特图的mermaid语法1 功能;
  6. 增加了 多屏幕编辑 Markdown文章功能;
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能,功能按钮位于编辑区域与预览区域中间;
  8. 增加了 检查列表 功能。

功能快捷键

撤销:Ctrl/Command + Z
重做:Ctrl/Command + Y
加粗:Ctrl/Command + B
斜体:Ctrl/Command + I
标题:Ctrl/Command + Shift + H
无序列表:Ctrl/Command + Shift + U
有序列表:Ctrl/Command + Shift + O
检查列表:Ctrl/Command + Shift + C
插入代码:Ctrl/Command + Shift + K
插入链接:Ctrl/Command + Shift + L
插入图片:Ctrl/Command + Shift + G
查找:Ctrl/Command + F
替换:Ctrl/Command + G

合理的创建标题,有助于目录的生成

直接输入1次#,并按下space后,将生成1级标题。
输入2次#,并按下space后,将生成2级标题。
以此类推,我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  1. 项目1
  2. 项目2
  3. 项目3

创建一个表格

一个简单的表格是这么创建的:

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如:

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能,丰富你的文章

Mon 06 Mon 13 Mon 20 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图:

张三 李四 王五 你好!李四, 最近怎么样? 你最近怎么样,王五? 我很好,谢谢! 我很好,谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接 长方形 圆角长方形 菱形

FLowchart流程图

我们依旧会支持flowchart的流程图:

Created with Raphaël 2.2.0 开始 我的操作 确认? 结束 yes no

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ,生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件,在上方工具栏可以选择导入功能进行对应扩展名的文件导入,
继续你的创作。


  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

标签:07,05,dr1,local,kafka,2021,server,root,usr
来源: https://blog.csdn.net/weixin_52847424/article/details/118483162