KAFKA

首页 > TAG信息列表 > KAFKA

大型网站架构系列：分布式消息队列（一）

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。二、消息队列

flink-cdc同步mysql数据到hive

本文首发于我的个人博客网站等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行

大数据常见组件zookeeper Kafka flume组件的常用操作命令

本文主要汇总了大数据常用组件zookeeper、kafka、flume的常用命令行操作 Zookeeper常用命令操作命令行语法 1）启动客户端 [atguigu@hadoop102 zookeeper-3.5.7]$ bin/zkCli.sh -server hadoop102:2181 2）显示所有操作命令 [zk: hadoop102:2181(CONNECTED) 1] help 查看节点信

linux下部署kafka集群

一、环境系统：CentOS Linux release 7.9.2009 (Core) zookeeper：3.6 kafka：kafka_2.13-2.8.0 二、部署 zookeeper部署详见：https://www.cnblogs.com/sxFu/p/16017975.html 下载kafka：http://kafka.apache.org/downloads 节点： 192.168.48.133 192.168.48.159 192.168.49.67 把下

kafka如何手动异步提交offset

转：https://blog.csdn.net/CREATE_17/article/details/108722808 kafka手动异步提交 offset 的步骤大概分为以下几步，如下图所示： 1、配置手动提交 enable.auto.commit 修改为 false 。 2、订阅 topic consumer.subscribe(Arrays.asList("topic name")); 3、获取 topic 各分

通过docker 安装zookeeper和kafka

拉取镜像zookeeper和kafka的镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 启动镜像，在启动中设置端口好，挂载，名称，环境变量，kafka要绑定使用哪个zk，因为各种应用，例如hbase也是使用zk，所以k8s上可能有多个zk。 # 后台启动zk docker run -d --name kafka-zook

packetbeat发送数据到pulsar

默认情况下，packetbeat不支持将数据发送到pulsar，因此使用了streamnative开发的kop（kafka on pulsar）来解决这个问题，以下是单机版安装步骤。一、安装pulsar与kop 1. 下载并安装 wget https://archive.apache.org/dist/pulsar/pulsar-2.9.3/apache-pulsar-2.9.3-bin.tar.gz tar -zxf a

kafka创建主题

当前版本 kafka_2.13-3.2.1 [root@node2 bin]# ./kafka-topics.sh -create --zookeeper 192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 -replication-factor 3 --partitions 3 --topic testException in thread "main" joptsimple.UnrecognizedOptionExcep

kafka查看主题

[root@master bin]# ./kafka-topics.sh --bootstrap-server 192.168.1.101:9092 --describe --topic testTopic: test TopicId: fTJwpLYfQXqsP0Xv_q5tHg PartitionCount: 3 ReplicationFactor: 3 Configs: segment.bytes=1073741824 Topic: test Partition: 0 Leader: 3 Repli

Kafka和Spark Streaming实时计算框架整合说明

Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据，读取Kafka数据有两种方式 1、Receiver（使用Spark中接受器去处理Kafka的数据）方法----连接zookeeper集群读取数据-----仅作了解（被淘汰） 2、Direct方法--直连kafka集群读取数据如果Spark Srreaming整合Kafka，需要引

华为云分布式消息服务Kafka版

下载Demo包 https://dms-demo.obs.cn-north-1.myhuaweicloud.com/kafka-sdk-java-demo.zip 详解Win10系统下打开.jks签名文件的方法 https://blog.csdn.net/lr_201010/article/details/78933740

利用docker-compose快速搭建kafka集群

一、安装docker-compose工具安装docker-compose事先需要安装docker，这里需要自行安装 # 升级 pip pip3 install --upgrade pip # 指定 docker-compose 版本安装 pip install docker-compose==1.22 # 验证是否安装成功，有返回值，说明安装成功 docker-compose -v 二、搭建zookeepe

云图说丨初识分布式消息服务Kafka版

摘要：分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。本文分享自华为云社区《【云图说】第254期初识分布式消息服务Kafka版》，作者：阅识风云。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队

在几个小时内从初级开发人员到高级开发人员

在几个小时内从初级开发人员到高级开发人员我有 25 年的专业开发经验，总共有 40 年的经验。多年来，我一直担任开发主管、项目负责人、首席技术官、项目经理、高级架构师，并担任过您能想象到的所有可能的角色。今天，我是一家为全球数百家软件开发公司提供云服务的服务提供商的 CEO。我

kafka的相关使用命令

与主题有关的命令与生产者生产消息有关的命令与消费者消费消息有关的命令

Kafka Docker安装

安装Zookeeper docker run --name zookeeper -d -p 2181:2181 -v /etc/localtime:/etc/localtime library/zookeeper 安装Kafka docker run -d --name kafka -p 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=IP:2181/kafka --env KAFKA_ADVERTISED_HOST_NAME=IP --e

在生产环境中运行 Kafka 后的经验教训

在生产环境中运行 Kafka 后的经验教训 Kafka logo 在生产环境中运行自托管 Kafka 超过 2 年。在这里，我编制了一个提示和陷阱列表。背景：我们使用 Kafka 作为我们的主要 Pub-Sub 来设置多个管道和接近 100 个主题，超过 5000 个 pod（客户端）连接到它，每天在最繁忙的主题之一上产生和消

python kafka 生产者发送数据的三种方式

发送方式同步发送发送数据耗时最长有发送数据的状态，不会丢失数据，数据可靠性高以同步的方式发送消息时，一条一条的发送，对每条消息返回的结果判断，可以明确地知道每条消息的发送情况，但是由于同步的方式会阻塞，只有当消息通过get返回future对象时，才会继续下一条消息的发送异

阿里云消息队列 Kafka-消息检索实践

简介：本文章主要介绍消息队列使用过程中所遇到的消息丢失、重复消费等痛点问题的排查办法，以及消息队列 Kafka「检索组件」的场景实践，并对其关键技术进行解读。旨在帮助大家对消息队列 Kafka「检索组件」的特点和使用方式更加熟悉，以更有效地解决消息排查过程中所遇到的问题。

centos7安装kafka

参考：https://blog.csdn.net/yang1393214887/article/details/123425715 1. 官网下载https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz 2. 上传到centos7 /usr/目录，解压到此目录tar -zxvf kafka_2.12-3.2.1.tgz 4. 配置

kafka术语

Topic：发布订阅的对象称为主题（topic），可以为每个应用，每个业务甚至每个类创建专属的主题。 clients：生产者和消费者统称为clients。　　Producer：向主题发布消息的客户端应用称为生产者，生产者程序通常不断的向一个或多个主题发送消息。　　Consumer：订阅这些主题消息的客户端应用称为消

kafka消息重复消费和消息丢失

重复消费在 Kafka 消费的编程逻辑中位移提交是一大难点，自动提交消费位移的方式非常简便，它免去了复杂的位移提交逻辑，让编码更简洁。但随之而来的是重复消费和消息丢失的问题。假设刚刚提交完一次消费位移，然后拉取一批消息进行消费，在下一次自动提交消费位移之前，消费者崩溃了，那么又

重新编译kafka_exporter源码，构建镜像

1.github https://github.com/danielqsj/kafka_exporter 2.dockerfile FROM golang:1.17 ENV GO111MODULE=on \ GOPROXY="https://goproxy.cn,direct" COPY kafka_exporter-1.4.2 /apps/kafka_exporter-1.4.2 WORKDIR /apps/kafka_exporter-1.4.2 RUN make

Flink 消费 Kafka 数据后在写回 Kafka 示例

今天介绍一下 Flink从kafka 读取数据后，再将数据写回 kafka 的一个案例示例代码 /** * 从一个 topic 读取数据，在写回另一个 topic */ public class SinkToKafka0824 { public static void main(String[] args) throws Exception { //1、获取执行环境 Str