broker

首页 > TAG信息列表 > broker

filebeat 笔记（持续补充）

有初步转 go 的意愿，大概看了下 filebeat 的代码，发现 filebeat 的源码值得剖析，不过也是个逐步的过程。 filebeat 整体是个多 input -> 单 output 的过程，那么就看看数据是怎么通过代码流转的？ bufferingEventLoop 我认为是一个顶层的类，它有一个 broker 属性，所有 input 和 output 的事

消息中间件

用途异步处理比如某个调用链的业务逻辑可以分为关键和非关键, 那么关键步骤执行完就能立即返回响应, 非关键步骤可以放入MQ异步地消费在业务高峰期, 可以用k8s动态增加关键服务的节点, 用MQ将非关键操作暂存在业务低谷期, 再动态减少关键服务的节点, 消费掉非关键服务

RocketMq使用过程中问题场景和解决方案

MQ使用过程中可能出现的问题以及解决方案一、MQ如何避免消息堆积的问题： 1）产生背景： producer发送消息的速率远大于consumer消费消息的速率，从而导致消息堆积在mq服务端中； 2）需要注意的是：rocketmq或kafka如果消息消费成功，消息是不会立即从mq服务端中被删除的；rabbitmq的消费者如果消息

MQ系列5：RocketMQ消息的发送模式

MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析在之前的篇章中，我们学习了RocketMQ的原理，以及RocketMQ中命名服务 ServiceName 的运行流程，本篇从消息的生产、消费来理解一条消息的生命周期。 1 消息生产在RocketM

MQ系列3：RocketMQ 架构分析

MQ系列1：消息中间件执行原理MQ系列2：消息中间件的技术选型 1 背景我们前面两篇对主流消息队列的基本构成和技术选型做了详细的分析。从本篇开始，我们会专注当下主流MQ之一的RocketMQ。从他的如下的几个方面去讨论：基础能力（如组织构成、消息发送、消息存储（持久化）、消息通信、消息

RocketMQ保姆级教程

大家好，我是三友~~ 上周花了一点时间从头到尾、从无到有地搭建了一套RocketMQ的环境，觉得还挺easy的，所以就写篇文章分享给大家。整篇文章可以大致分为三个部分，第一部分属于一些核心概念和工作流程的讲解；第二部分就是纯手动搭建了一套环境；第三部分是基于环境进行测试和集成到SpringB

22第四章：07_消息发送重试机制

一、消息发送重试机制说明 Producer 对发送失败的消息进行重新发送的机制，称为消息发送重试机制，也称为消息重投机制。对于消息重投，需要注意以下几点：生产者在发送消息时，若采用同步或异步发送方式，发送失败会重试，但 oneway 消息发送方式发送失败是没有重试机制的只有普通消息具有

18第四章：03_延时消息

一、延时消息当消息写入到 Broker 后，在指定的时长后才可被消费处理的消息，称为延时消息。采用 RocketMQ 的延时消息可以实现定时任务的功能，而无需使用定时器。典型的应用场景是，电商交易中超时未支付关闭订单的场景，12306 平台订票超时未支付取消订票的场景。在电商平台中，订单创

Kafka基于TCP进行通信

Kafka基于TCP进行通信 Apache Kafka 的所有通信都是基于 TCP 的，无论是生产者、消费者，还是 Broker 之间的通信都是如此。生产者端的TCP管理何时建立TCP连接在创建 KafkaProducer 实例时，生产者应用会在后台创建并启动一个名为 Sender 的线程，该 Sender 线程开始运行时首先会创

RabbitMQ协议-AMQP 0-9-1 （高级消息队列协议）

工作模型 producer：生产者 Connection：TCP长连接，AMQP 0-9-1 连接通常是长期存在的。AMQP 0-9-1 是一个应用层协议，它使用 TCP 进行可靠传输。连接使用身份验证，并且可以使用 TLS 进行保护。当应用程序不再需要连接到服务器时，它应该优雅地关闭其 AMQP 0-9-1 连接，而不是突然关闭底层 TC

kafka 生产者压缩

kafka 生产者压缩在kafka 中，压缩可能发生在两个地方：生产正端和消费者端。一般遵循Producer 端压缩、Broker 端保持、Consumer 端解压缩。生产者端-压缩生产者程序中配置 compression.type 参数即表示启用指定类型的压缩算法 Properties props = new Properties(); props.put(

kafka原理与使用

分布式消息队列 kafka 1.典型应用：异步处理、系统耦合、流量削峰、日志处理 2.核心原理：kafka体系结构以及读写流程 3.具体操作：high level api 以及 low level api 分布式消息队列： 1.高可用性 2.可靠性持久化 3.可扩展性高吞吐量 nginx A服务和B服务进行交

mqtt 创建broker，客户端发布、订阅

mqtt 官网 https://mqtt.org/software/mqtt 由服务端和客户端组成。服务端　　我这里用的是在windows 服务器上部署broker，参考 https://www.bilibili.com/read/cv14570583/ 客户端　　.net 上引用nuget Kognifai.M2Mqtt 包　　实例化客户端　　MqttClient client = new

12第三章：06_offset管理

一、offset 管理这里的 offset 指的是 Consumer 的消费进度 offset。消费进度 offset 是用来记录每个 Queue 的不同消费组的消费进度的。根据消费进度记录器的不同，可以分为两种模式：本地模式和远程模式。二、offset 本地管理模式当消费模式为广播消费时，offset 使用本地模式存

RocketMQ

消息中间件常用消息中间件对比 RocketMQ相比其他两种有一个不可替代的优势：支持事务消息作用异步解耦（提高效率）削峰填谷（缓解压力）分布式缓存同步消息分发写磁盘方式 RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存储的消息量超出内存的限制。Rocke

08第三章：02_消息的存储

一、消息的存储 RocketMQ 中的消息存储在本地文件系统中，这些相关文件默认在当前用户主目录下的 store 目录中。 abort：该文件在 Broker 启动后会自动创建，正常关闭 Broker，该文件会自动消失。若在没有启动 Broker 的情况下，发现这个文件是存在的，则说明之前 Broker 的关闭是非正常关

kafka各个版本的特性

1. kafka-0.8.2 新特性 1.1 异步发送 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的produ

浅谈rocketmq

rocketmq主要由4部分组成：Producer、Consumer、Broker、NameServer。 NameServer：整个集群的注册中心和配置中心，管理集群的元数据。包括 Topic 信息和路由信息、Producer 和 Consumer 的客户端注册信息、Broker 的注册信息。 Broker：负责接收消息的生产和消费请求，并进行消息的持久

KafKa面试题

1、KafKa是什么？ Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。1. broker： Kafka 服务器，负责消息存储和转发2. topic：消息类别， Kafka 按照 topic 来分类消息3. partition： topic 的

kafka

Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。消息队列模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）。布/订阅模式（一对多，消费者消费数据之后不会清除消息）。名词： Producer ：消息生产者，就是向 kafka broker 发消

一周一个中间件-kafka角色篇(节点数据如何同步)

前言 Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。尤其是做日志中间件。 Kafka是一个分布式系统，背景我们公司迁移ActiveMQ消息中间件，为了减少资源开支，引入Kafka这种高性能高吞吐

Kafka学习(十五) Python Kafka Client 性能测试

一、前言　　由于工作原因使用到了 Kafka，而现有的代码并不能满足性能需求，所以需要开发高效读写 Kafka 的工具，本文是一个 Python Kafka Client 的性能测试记录，通过本次测试，可以知道选用什么第三方库的性能最高，选用什么编程模型开发出来的工具效率最高。二、第三方库性能测试 1

Kafka学习(六) 防止数据丢失

无消息丢失配置我们有时候听到开发说消息丢了。遇到这种情况你要想找这个消息通常是去生产者的日志里去看是否发送了这条消息以及去Kafka日志里去找是否有这条消息，不过这都是事后措施，通常来说我们如果要求不丢失消息，那么我们要怎么做呢？但是从上图可以看出来这里面涉及三方，生产

Kafka学习(十) 常用参数说明

# ----------------------系统相关---------------------- # broker的全局唯一编号，不能重复，和zookeeper的myid是一个意思 broker.id=0 # broker监听IP和端口也可以是域名 listeners=PLAINTEXT://172.16.48.163:9092 # 这个配置方式和listeners相同，主要用于Kafka有多个IP地址，比

RocketMQ分布式消息队列

RocketMQ分布式消息队列来源作者：java1234_小锋 1RocketMQ简介 RocketMQ是由阿里捐赠给Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件。经历了淘宝双十一的洗礼。RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息